Kościół klasztorny wybudowano w 1410 roku na polecenie króla Władysława Jagiełły i dzięki staraniom pierwszego przeora klasztoru o. Filipa. W 2006 roku został wydany dekret, zgodnie z którym klasztor zyskał status Sanktuarium Maryjnego. W kościele znajduje się obraz Matki Boskiej Pocieszenia z XVII wieku. Świątynia wpisana jest do rejestru zabytków.
Obraz, uznawany przez wiernych za cudowny, został namalowany na desce ok. 1655 r. Wizerunek Matki Boskiej ozdobiony został srebrnymi sukniami według projektu Jana Matejki. We wnętrzu świątyni zachowała się XIX-wieczna polichromia figuralna oraz ornamentalna, której autorem był Jakub Gucwa.
Do zabytków sztuki sakralnej należą również ołtarze boczne w tęczy, w stylu późnego baroku. Ołtarz główny to dzieło późnorenesansowe, jego zasuwa ozdobiona jest obrazem Matki Bożej Szkalperznej. Ołtarz zdobią również rzeźby: św. Augustyna i Tomasza z Akwinu oraz obraz świętych Katarzyny i Barbary.