La Ermita de Nuestra Señora de la Virgen del Puerto de Madrid es obra de Pedro de Riber. Fue construido entre 1716-1718 y es uno de los primeros ejemplos de arquitectura barroca en España. Se conserva copia de la imagen de Nuestra Señora de la Virgen del Puerto, patrona de la ciudad de Palencia. En el interior también se puede ver la tumba del Marqués Vadillo, obra de Pedro de Riber.
En 1936, durante la Guerra Civil Española, el lugar fue atacado. Al final de la guerra, el edificio quedó tan dañado por los proyectiles que solo quedaron las paredes y la cúpula octogonal. La imagen de la Madre de Dios también resultó dañada. El nuevo fue realizado por el escultor Víctor González Gilo.
Finalmente, en 1945, la ermita fue proclamada Monumento Nacional. En ese momento comenzó su reconstrucción completa bajo la supervisión de Carlos Mendoza. La Ermita de Nuestra Señora de la Virgen del Puerto fue reabierta en 1951.