El castillo fue construido en una isla artificial por los duques de Bytom en el siglo XIV. En el siglo XV fue propiedad de los obispos de Cracovia y los príncipes de Siewier. Las ruinas del castillo están rodeadas por murallas, una torre de entrada y una barbacana reconstruida. En el castillo se organizan eventos culturales y de entretenimiento.
En 1655 el castillo fue saqueado e incendiado por el ejército sueco. El castillo está inscrito en el registro de monumentos con una ruina permanente marcada.
El castillo, como uno de los dos en Polonia, tiene un puente levadizo, cuyo mecanismo se activa en ocasiones especiales (el segundo puente levadizo está en el castillo de Malbork).
Desde el siglo XVII, el "Tribunal Siewierski" funcionó en el castillo, famoso por sus frecuentes condenas a muerte para los prisioneros en la fortaleza. Luego vino el dicho: "Golpea, roba, mata, pero evita a Siewierz".