Kościół wzniesiono w latach 1610-1619, a na przestrzeni następnych 100 lat powstawał renesansowy klasztor dominikański, który obecnie pełni funkcje wystawiennicze. W klasztorze znajduje się Muzeum Diecezji Sejneńskiej, Muzeum Etnograficzne oraz wystawa stała "Myśmy tu byli", poświęcona Gimnazjum św. Kazimierza. Działa tu też Galeria „Zapiecek”, która prezentuje dzieła lokalnych artystów i pełni funkcję punktu informacji turystycznej.
Muzeum Diecezji Sejneńskiej mieści się w sali nazywanej skarbcem. Do jego najcenniejszych eksponatów należą XIX-wieczne księgi liturgiczne, monstrancje, kielichy mszalne i pieczęcie biskupie. W Muzeum Etnograficznym prezentowane są zbiory rękodzieła ludowego, eksponaty związane z historią lokalnego harcerstwa oraz zabytkowe radioodbiorniki, gramofony i aparaty fotograficzne. Działalnością wystawienniczą klasztoru kieruje Sejneńskie Towarzystwo Opieki nad Zabytkami.
Budowę klasztoru zakończono w 1706 r. W 1802 r., po trzecim rozbiorze Polski, władze pruskie skonfiskowały wszystkie ziemie klasztorne, a następnie doprowadziły do kasaty zakonu. W kolejnych dwóch stuleciach klasztor był siedzibą duchownych i świeckich placówek edukacyjnych. W 1989 r. stał się własnością kościelną.