Dawny pałac biskupi został zbudowany w XIII w. Jest jednym z najstarszych i najlepiej zachowanych zamków w kraju, starszym nawet od słynnego Pałacu Papieży w Awinionie. Początkowo pełnił funkcję warownej twierdzy, z czasem przebudowano go w luksusowy pałac. W 2010 r. został wpisany na listę Światowego Dziedzictwa UNESCO.
W pałacu mieści się obecnie muzeum sztuki poświęcone przede wszystkim życiu i twórczości francuskiego malarza i grafika, Henriego de Toulouse-Lautrec, żyjącego w II połowie XIX w. Jest w nim przechowywany największy na świecie zbiór prac artysty, liczący ponad tysiąc obrazów, rysunków, litografii i szkiców.
Do zwiedzania jest również udostępniony malowniczy, klasyczny ogród w stylu francuskim. Prowadzą one m.in. do pozostałości po starej romańskiej katedrze.