El Castillo de Gruyères fue construido en el siglo XIII. Hoy en día alberga un museo, los visitantes pueden visitar las cámaras históricas decoradas en los estilos renacentista y barroco, así como el jardín que rodea el edificio. También hay presentaciones multimedia que muestran la historia del castillo. Las exposiciones temporales se llevan a cabo en el antiguo arsenal.
En el castillo se pueden admirar muebles antiguos, una colección de arte y armaduras. Los elementos arquitectónicos individuales representan diferentes estilos, provienen de diferentes períodos, la torre local fue erigida en el siglo XIII, las salas de estar fueron diseñadas en estilo renacentista, su diseño fue creado en el siglo XVI.
En el siglo XIX, el castillo era un lugar donde a los artistas de toda Europa les gustaba quedarse. Fue aquí donde los artistas del pintor realista francés Camille Corot y el artista suizo Barthélemy Menn. En el castillo todavía se pueden admirar ejemplos de la obra de Menn.