En los años 1510-1543 fue propiedad de Nicolaus Copernicus, quien, como canon de Frombork, se vio obligado a comprarlo y mantenerlo bajo el llamado canonías de invierno. Al contrario de la visión pictórica de Jan Matejko, este lugar no funcionaba como un observatorio astronómico. No fue posible debido al techo del piso superior y las dimensiones demasiado pequeñas del edificio, que no podían acomodar instrumentos astronómicos.
El astrónomo tomó medidas en el jardín de su canon exterior de verano. El observatorio desprotegido fue destruido por los Caballeros Teutónicos durante la invasión. Se cree que el científico trasladó sus instrumentos a la actual Torre Radziejowski y continuó allí su investigación.
La Torre Copérnico fue construida en el siglo XIV y es el elemento más antiguo de las fortificaciones de la Colina de la Catedral. Tenía un sótano y cinco pisos. La más alta fue reconstruida muchas veces entre los siglos XV y 18. La torre fue incendiada en 1945 y no fue reconstruida hasta 1965. Menos de 50 años después, Eugen Brachvogl, un historiador de Cálido, estableció una sala conmemorativa dedicada a Copérnico.