Krzyżacki zamek z XIV wieku jest najstarszym zabytkiem w Węgorzewie. Obecny swój wygląd zawdzięcza odbudowie dokonanej w latach 80. XX wieku. Miały mieścić się tu biblioteka, siedziba Rady Miejskiej i Urząd Stanu Cywilnego. Jednak w 2000 roku zamek sprzedano prywatnemu inwestorowi. Budowla jest dziś niedostępna dla turystów.
Budowa warowni ruszyła w 1398 roku z polecenia komtura Wernera von Tettingena. Gotycka budowla znajduje się na rzecznej wyspie przy ujściu Węgorapy z jeziora Mamry. W 1656 r. warownię zniszczyły wojska tatarskie. Po odbudowie w stylu barokowym zamek stracił znaczenie militarne. W XVII w. odwiedzili go król polski Stanisław Leszczyński i władca pruski Fryderyk Wielki.
W trakcie kampanii napoleońskiej mieścił się tu szpital dla rannych żołnierzy. Później zamek zajęły wojska polskie generałów Jana Henryka Dąbrowskiego i Józefa Zajączka. W 1945 r. budowlę doszczętnie spaliła Armia Czerwona.