Twierdza, która została wzniesiona około 1260 r. przez Jaroslava z Hruštic z rodu Markvarticów. Do 1380 r. zamek należał do dóbr rodziny Valdštejn, a następnie został kupiony przez panów z Vartenberka. Kolejne zmiany właścicieli w XV w. przyczyniły się do podzielenia zamku na dwie fortece. Wkrótce zamek został porzucony i popadł w ruinę. Opuszczony i zdewastowany zamek ponownie stał się własnością Valdštejnów i pozostał w ich rękach przez następne 200 lat.
W XVIII w. gmach, przez swoje malownicze położenie, stał się miejscem pielgrzymek. W pierwszej połowie XIX w. nowymi właścicielami naskalnej rezydencji stali się Lexowie z Aehrenthalu. Dokonali oni przebudowy obiektu na styl romantyczny. Dodatkowo stworzyli sieć szlaków turystycznych, wybudowali punkty widokowe, uzdrowisko Sedmihorky oraz udostępnili zamczysko zwiedzającym.
Obecnie była twierdza Valdštejnów jest własnością miasta Turnov.