El castillo originalmente gótico de Iłża fue construido en la primera mitad del siglo XIV por iniciativa del obispo de Cracovia, Jan Grot. A lo largo de los siglos, fue reconstruido y modernizado, como resultado, ganó una decoración renacentista y sus fortificaciones se fortalecieron. Fue propiedad de los obispos de Cracovia hasta 1789. Fue organizado por reyes polacos, obispos, eminentes humanistas y eruditos. Actualmente, el edificio tiene la condición de ruina protegida, abierta al público. Desde la distancia, en una colina, se puede ver la torre conservada y fragmentos de murallas defensivas. Unas escaleras empinadas conducen a las ruinas del castillo.
Tras la destrucción sufrida tras el diluvio sueco, se empezó a restaurar. Pronto se necesitaron más obras de renovación debido al ataque del príncipe húngaro Jerzy Rakoczy. Las peleas con los Bar Confederados también dañaron seriamente el castillo.
Los siglos siguientes vieron la caída gradual del castillo en ruinas. Experimentó dos incendios: el primero ocurrió en el siglo XVIII y el segundo en el siglo XIX. Los restos del castillo se utilizaron como material para la construcción de casas y conventillos. La posada y la famosa fábrica de loza de Sunderland también se construyeron a partir de ellos. El castillo también sufrió graves daños durante la Primera y Segunda Guerra Mundial.
En el castillo tienen lugar eventos históricos, incluidos torneos de caballeros.
Atracciónes dentro

