El castillo de Grignan se levanta sobre una colina sobre el pueblo del mismo nombre. Es un excelente mirador de la zona, especialmente durante la floración de la lavanda, que se cultiva en los campos de los alrededores del pueblo. El castillo data del siglo XI, pero ha sido reconstruido muchas veces. Actualmente, sus paredes alberga el Museo por Correspondencia.
En la Edad Media, Grignan fue una fortaleza perteneciente a los reyes de Provenza. En el siglo XVI fue reconstruida por la familia Adhémar en una residencia de verano con una amplia terraza mirador situada sobre las antiguas murallas defensivas y un salón de baile. En el siglo XVII, el castillo fue el hogar del marqués de Sévigné, cuyas letras se convirtieron en una de las obras literarias favoritas de la época. El castillo sufrió graves daños durante la Revolución Francesa. Su reconstrucción se lleva a cabo desde principios del siglo XX.
El castillo es una estructura poligonal encerrada en enormes muros defensivos. Del edificio más antiguo se conserva una capilla gótica. La parte más visible es el edificio principal renacentista con su fachada restaurada en estilo clásico. Los interiores se adaptaron a finales del siglo XX al Museo de la Correspondencia. Aquí se pueden admirar útiles de escritura antiguos, cartas de la antigüedad, sellos y estampillas postales. De las paredes cuelgan valiosas telas artísticas, también hay una colección de muebles de los siglos XVIII y XIX.