Birże es una ciudad que durante siglos perteneció a la poderosa familia Radziwiłł. Aquí está su castillo, donde actualmente funciona el museo, así como un extenso parque señorial.
La familia Radziwiłł fue propietaria de Birża desde la segunda mitad del siglo XV, con interrupciones hasta principios del siglo XIX, luego la propiedad fue transferida a la familia Tyszkiewicz, que gobernó aquí hasta el final de la Segunda Guerra Mundial. A estas dos familias debe la ciudad sus monumentos más importantes.
La mayor atracción de Birja es el castillo. Debe su forma actual a una reconstrucción barroca, pero se encuentra en el lugar de un edificio que recuerda la época medieval. Actualmente, hay un museo dentro de sus paredes. El castillo está rodeado por un parque, que también incluye el lago Sirvena. En su otro lado, está la mansión Tyszkiewicz del siglo XIX. Se puede llegar por un puente sobre el lago Sirvena.
Algunos edificios de antes de la guerra han sobrevivido en el centro de Birż. El objeto más hermoso que se puede visitar aquí es la iglesia de St. San Juan Bautista, construido en estilo Imperio a petición de la familia Tyszkiewicz.