Das Schloss Elbasan befindet sich im Zentrum der Stadt. Bis heute sind nur noch Fragmente riesiger Mauern mit den Überresten zweier Türme erhalten. Sie umgeben den dicht bebauten Bereich des Zentrums. Es gibt unter anderem die Königliche Moschee, die Kirche Unserer Lieben Frau, erhaltene osmanische Häuser und einen Glockenturm.
Elbasan war während der römischen Herrschaft eine wichtige Stadt. Damals war hier eine Garnison stationiert, und die Via Egnatia lief durch die Stadt. Im 15. Jahrhundert adaptierten die Türken die alten römischen und byzantinischen Mauern, um eine Festung zu schaffen. Es widerstand unter anderem den Truppen von Skanderbeg. Die Festung funktionierte bis zum 19. Jahrhundert und verfiel dann allmählich. Darin wurden viele Häuser und Geschäfte gebaut.
Die Burg von Elbasan besteht heute hauptsächlich aus massiven Mauern. In der Vergangenheit waren sie 9 Meter hoch und wurden durch 26 Türme verstärkt. Innerhalb der Mauern sehen Sie den für den Balkan charakteristischen türkischen Glockenturm. Es gibt auch die königliche Moschee aus dem 15. Jahrhundert, die zu Beginn des 21. Jahrhunderts wieder aufgebaut wurde. In der Kirche, die 1833 nach einem Brand wieder aufgebaut wurde, befindet sich eine geschnitzte Ikonostase aus dem 19. Jahrhundert.