Zamek w Annecy góruje nad zabudową miasteczka i jest jego najbardziej charakterystyczną budowlą. Wybudowany w XIII wieku i rozbudowywany przez kolejnych ponad 300 lat jest obecnie przykładem przemian, jakie zamki we Francji przechodziły od okresu średniowiecza do rozkwitu renesansu.
Zamek był siedzibą hrabiów Genewy. W XVII wieku zaczął podupadać po kilku pożarach. Jego odbudowę i renowację przeprowadzono w połowie XX wieku. Władze miasta umieściły tu Muzeum Sztuki Ludowej Alp.
Zamek jest budowlą składającą się z kilku oddzielnych obiektów. Najbardziej rzucają się w oczy masywne, kwadratowe gotyckie wieże. Oprócz nich w skład obiektu wchodzą dwa budynki mieszkalne. Starszy reprezentuje styl gotycki, młodszy zaś to przykład francuskiej architektury rozwiniętego renesansu. We wnętrzach udało się zrekonstruować dużą część dekoracji malarskich. Cześć pomieszczeń wyposażono też w średniowieczne i renesansowe sprzęty. Muzeum Sztuki Ludowej prezentuje obrazy, rzeźbę oraz wyroby rzemiosła artystycznego tworzone przez lokalnych artystów i nawiązujące do motywów regionalnych.