Kościół powstał w I poł. XVII w. Pierwsza część nazwy jest pamiątką po kościele zburzonym w czasie panowania francuskiego w 1799 r.
Kościół św. Piotra wzniesiono na miejscu romańskiej świątyni, która istniała tu prawdopodobnie od czasów założenia opactwa św. Piotra w VII w., a została zniszczona w czasach ikonoklazmu około 1580 r.
Projekt dzisiejszego, imponującego gabarytami i formą kościoła przypisuje się jezuickiemu architektowi Pieterowi Huyssensowi (1577-1637) – twórcy kościołów św. Karola Boromeusza w Antwerpii i św. Walburgi w Brugii. Architekt zafascynowany architekturą włoskich świątyń inspirował się kościołem św. Piotra w Rzymie.
W okresie panowania francuskiego w kościele św. Piotra utworzono muzeum malarstwa. Do dzisiaj w kościele znajduje się wiele dzieł z XVII i XVIII w. Inne warte uwagi elementy wyposażenia wnętrza, to przede wszystkim bardzo liczne zdobienia rzeźbiarskie.