Первоначально готический замок в Илже был построен в первой половине 14 века по инициативе краковского епископа Яна Грота. На протяжении веков его перестраивали и модернизировали - в результате он приобрел декор в стиле ренессанс, а его укрепления были усилены. До 1789 года он принадлежал краковским епископам. Его принимали польские короли, епископы, выдающиеся гуманисты и ученые. В настоящее время здание имеет статус охраняемых руин, открытых для посещения. Издалека, на холме, можно увидеть сохранившуюся башню и фрагменты оборонительных стен. К руинам замка ведет крутая лестница.
После разрушений, нанесенных шведским потопом, его начали восстанавливать. Вскоре потребовались дополнительные ремонтные работы из-за нападения венгерского принца Ежи Ракоци. Бои с Барскими конфедератами также серьезно повредили замок.
В последующие века замок постепенно разрушался. Он пережил два пожара - первый произошел в 18 веке, второй - в 19 веке. Остатки замка использовались как материал для строительства домов и доходных домов. Они также использовались для постройки гостиницы и знаменитого фаянсового завода Сандерленда. Замок также серьезно пострадал во время Первой и Второй мировых войн.
В замке происходят исторические события, в том числе рыцарские турниры.