La iglesia de Nossa Senhora da Olivira se esconde en los edificios del distrito de Baixa. Desde el exterior, su fachada se mimetiza con el resto de edificios, generalmente sin dar la impresión de un templo. El interior está cubierto con paneles de azulejos, mientras que la bóveda muestra la escena de la Asunción de la Madre de Dios.
La iglesia fue reconstruida después del terremoto de 1755 en el sitio de un templo más antiguo. Es un edificio pequeño, de una sola nave, con presbiterio más bajo de recinto cuadrado. La fachada no se destaca de los edificios de la calle y parece una casa de vecindad ordinaria.
El interior es barroco. La parte inferior de las paredes está cubierta con azulejos blancos y azules que representan escenas de la vida de Nuestra Señora. En la bóveda hay un cuadro del siglo XVIII con una escena de la Asunción rodeada de motivos florales.