Wzorowana na zamkach krzyżackich, wzniesiona na przełomie XIII i XIV w. budowla na planie kwadratu z czterema narożnymi wieżami. Zamek słynie z największego znanego gdaniska, czyli wysuniętego poza obręb murów wykusza lub wieży obronno-sanitarnej. W Kwidzynie gdaniskowa wieża jest wysoka na 25 i m wysunięta aż na 54 m, a z zamkiem łączy ją kryty pomost, wsparty na pięciu filarach. Obecnie mieści się tu Muzeum Zamkowe.
Zwiedzając wnętrza zamku można zobaczyć m.in. ceglany piec średniowiecznego systemu ogrzewania gorącym powietrzem, galerię malarstwa i rzemiosła artystycznego, wystawę przyrodniczą oraz – ulokowaną w gdanisku – ekspozycję etnograficzną. W gdanisku zachował się też prostokątny otwór, nad którym ustawiona była zapewne drewniana kabina. Nieczystości spadały wprost do przepływającego pod wieżą strumienia.
W 1410 r., podczas pierwszej wyprawy przeciwko Krzyżakom, zamek w Kwidzynie zajęły wojska Władysława Jagiełły. Jednak na mocy drugiego pokoju toruńskiego w 1466 r. polska strona musiała zwrócić zamek. Budowla doznała poważnych uszkodzeń w czasie potopu szwedzkiego. W XVIII w. władze pruskie nakazały rozbiórkę. Dewastację zamku powstrzymano i przeprowadzono prace rekonstrukcyjne dopiero w II poł. XIX w.