Skromny, ale wartościowy historycznie pałac z XVI wieku, częściowo udostępniony jest dla zwiedzających. W budynku dziś mieści się Miejska i Powiatowa Biblioteka Publiczna oraz ma swoją siedzibę Urząd Stanu Cywilnego. We wnętrzach można zobaczyć dobrze zachowane sklepienia kolebkowo-krzyżowe.
Otynkowany budynek z cegły ulokowany na terenie przedzamcza wyróżnia się dwutaktowym układem architektonicznym oraz czterospadowym dachem z lukarnami. Wartość historyczna obiektu wynika z przynależności do siostry polskiego króla Zygmunta III Wazy.
Budynek powstał najprawdopodobniej w 1564 roku, na bazie pozostałości gotyckich budynków gospodarczych i murów obronnych. Do Anny Wazówny pałac należał od 1605 roku i wówczas też dokonano jego rozbudowy. Kiedy właścicielka zmarła 20 lat później obiekt przechodził z rąk do rąk w obrębie dynastii Wazów, a także dalej rozbudowywano.
Pod pruskim zaborem w pałacu swoją siedzibę miały lokalne władze, a dwudziestoleciu międzywojennym gościły w nim szkoły. Obiekt został całkowicie zniszczony po podpaleniu w 1945 roku, a następnie odbudowany w latach 60-tych na podstawie zachowanych części ścian i murów obwodowych.