La construcción de este castillo de ladrillo de los Caballeros Teutónicos comenzó en 1349 y fue supervisada por Gunther von Hohenstein. Poco después de la finalización de la construcción, el castillo fue destruido por los lituanos. En años posteriores, el castillo fue incendiado y reconstruido varias veces. Desde mediados de los 90 del siglo pasado, el castillo alberga instituciones culturales: una biblioteca, museo, centro cultural, salón de banquetes y galería.
Durante la campaña prusiana en curso de la Primera Guerra Polaca en 1809, el propio Napoleón Bonaparte residió en el castillo. La estadía de un huésped tan eminente en la ciudad encontró su reflejo en la pintura, el arte metálico, así como en la gráfica. La Casa de la Moneda de París, por su parte, acuñó como recuerdo la medalla "Napoleón en Ostróda".