Das alte Schloss in Żywiec ist ein Renaissancegebäude aus dem 16. Jahrhundert, das zuerst der Familie Komorowski und später den Habsburgern gehörte. Innerhalb seiner Mauern befindet sich ein städtisches Museum. Es ist in thematische Abschnitte unterteilt: Abteilung für Geschichte und Kunst, Abteilung für Ethnographie, Abteilung für Natur und Abteilung für Archäologie.
Das Stadtmuseum in Żywiec ist seit 1938 in Betrieb und befindet sich seit 2005 an seinem heutigen Sitz. Seit Jahren sammeln Wissenschaftler und Enthusiasten verschiedene Arten von Exponaten zur Geschichte der Region Żywiec. Diese beinhalten Wywiec bürgerliche Kostüme, antike Möbel, Gemälde aus der Wende des 19. und 20. Jahrhunderts, alte Dokumente und Gegenstände, die von den Żywiec-Hochländern verwendet wurden. Das Museum umfasst auch Exponate, die die Flora und Fauna der Beskiden und sogar die Überreste fossiler Organismen zeigen.
Die Burg selbst wurde an der Stelle einer gotischen mittelalterlichen Burg erbaut. Der Umbau der Residenz in den Jahren 1485-1500 verlieh dem Gebäude einen Renaissancestil.