Gotycki w pierwotnym zamyśle zamek w Iłży został wybudowany w pierwszej połowie XIV wieku z inicjatywy biskupa krakowskiego Jana Grota. Na przestrzeni wieków był przebudowywany i unowocześniany - w efekcie zyskał renesansowy wystrój oraz wzmocniono jego fortyfikacje. Był własnością biskupów krakowskich do 1789 roku. Gościli na nim polscy królowie, biskupi, wybitni humaniści oraz uczeni. Obecnie budowla ma status zabezpieczonej ruiny, udostępnionej do zwiedzania. Z oddali, na wzgórzu, widać zachowaną wieżę oraz fragmenty murów obronnych. Do zamkowych ruin prowadzą strome schody.
Po zniszczeniach odniesionych po potopie szwedzkim zaczęto go odnawiać. Wkrótce były potrzebne kolejne prace remontowe z uwagi na atak wojsk węgierskiego księcia Jerzego Rakoczego. Również walki z konfederatami barskimi poważnie uszkodziły zamek.
Kolejne wieki to stopniowe popadanie zamku w ruinę. Doświadczył dwóch pożarów - pierwszy miał miejsce w XVIII wieku, drugi w wieku XIX. Pozostałości zamku były wykorzystywane jako materiał do budowy domów i kamienic. Została z nich zbudowana również karczma oraz słynna fabryka fajansu Sunderlanda. Zamek doznał także poważnych uszkodzeń podczas pierwszej i drugiej wojny światowej.
Na zamku odbywają się imprezy historyczne, między innymi turnieje rycerskie.