Es un complejo de tres estructuras de castillo, que incluye el Castillo Imperial (Kaiserburg), el Castillo de Burgrave (Burggrafenburg) y el Castillo de la Ciudad (Stadtburg). El complejo es una extensión de las murallas defensivas que una vez rodearon la ciudad.
El castillo se llama "el orgullo del imperio alemán". Ofrece una vista amplia del horizonte de la ciudad. La residencia y los salones del castillo están decorados con pinturas, tapices y muebles de los siglos XVI y XVII. Desde 1050 hasta 1571, todos los emperadores del Sacro Imperio Romano Germánico de la Nación Alemana se quedaron aquí. La parte más antigua del castillo es la Torre Pentagonal construida en el siglo XI. A lo largo de los siglos, el castillo se ha reconstruido muchas veces.
Curiosamente, en los años de la Segunda Guerra Mundial, el altar de Wit Stwosz, robado de Cracovia, se almacenó debajo del castillo.