Rektorat Pomorskiego Uniwersytetu Medycznego ma swą siedzibę w zabytkowym budynku pochodzącym z początku XX wieku. Trójskrzydłowa budowla o nieregularnym kształcie znajduje się w obrębie Starego Miasta. Od południowej strony przylega do niej wysoka wieża. Powstała według projektu Wilhelma Meyera-Schwartau jako siedziba ówczesnej administracji miasta.
Budynek przetrwał bombardowania przeprowadzane w trakcie II Wojny Światowej bez większych uszkodzeń. Po zakończeniu wojny umieszczono w nim świeżo powstałą wówczas Akademię Medyczną, która w 1949 roku zmieniła nazwę na Pomorska Akademia Medyczna. Obecna nazwa funkcjonuje dopiero od 2010 roku.
W XIV wieku teren, gdzie obecnie znajduje się rektorat PUM, należał do zakonu cystersów. Znajdowała się tu rezydencja zwana „Dworem” oraz kwatery członków zakonu. Dwieście lat później, budynki przeszły pod jurysdykcję miejską i mieściły Kancelarię Krajową, a następnie magazyny prowiantowe.