W latach 1510-1543 stanowiła własność Mikołaja Kopernika, który jako fromborski kanonik zobowiązany był do jej wykupienia i utrzymania w ramach tzw. kanonii zimowej. Wbrew malarskiej wizji Jana Matejki, miejsce to nie pełniło funkcji obserwatorium astronomicznego. Nie pozwalało na to zadaszenie ostatniej kondygnacji i zbyt małe gabaryty budynku, które nie były w stanie pomieścić instrumentów astronomicznych.
Astronom dokonywał pomiarów w ogrodzie swojej zewnętrznej, letniej kanonii. Niezabezpieczone obserwatorium zniszczyli Krzyżacy podczas najazdu. Przypuszcza się, że uczony przeniósł swoje przyrządy do obecnej Wieży Radziejowskiego i tam kontynuował badania.
Wieża Kopernika została zbudowana w XIV w. i jest najstarszym elementem fortyfikacji Wzgórza Katedralnego. Posiadała podpiwniczenie oraz pięć kondygnacji. Najwyższe były wielokrotnie przebudowywane między XV a XVIII w. Wieżę spalono w 1945 r., zrekonstruowano ją dopiero w 1965 r. Niecałe 50 lat później warmiński historyk Eugen Brachvogl założył w niej izbę pamiątkową poświęconą Kopernikowi.