В 1510-1543 годах он был собственностью Николая Коперника, который, как каноник Фромборка, был вынужден выкупить его и хранить под так называемым зимние каноники. В отличие от живописного видения Яна Матейко, это место не функционировало как астрономическая обсерватория. Кровля верхнего этажа и слишком маленькие размеры здания, не позволяющие разместить астрономические приборы, не позволяли этого.
Астроном проводил измерения в саду своего летнего канона. Незащищенная обсерватория была разрушена тевтонскими рыцарями во время вторжения. Считается, что ученый перенес свои инструменты в нынешнюю Радзейовскую башню и продолжил там свои исследования.
Башня Коперника была построена в 14 веке и является самым старым элементом укреплений Соборной горы. В нем было подвал и пять этажей. Самый высокий из них несколько раз перестраивался между 15 и 18 веками. Башня была сожжена в 1945 году, ее реконструировали только в 1965 году. Менее чем через 50 лет варминский историк Евгений Брахвогл основал мемориальную комнату, посвященную Копернику.