Pałac został wzniesiony w XIV wieku jako rezydencja papieska w czasach niewoli awiniońskiej i od 1995 roku znajduje się na liście Światowego Dziedzictwa UNESCO. Siedziba o powierzchni 15 ha jest największym gotyckim zamkiem w Europie i można w niej zobaczyć m.in. sypialnię papieską, Salę Audiencyjną, Salę Konsystorzową, Bibliotekę Papieską wraz z jej unikatowym zbiorem, kaplicę św. Marcjala oraz Pokój Jeleni. Ogrom pomieszczeń i eksponatów sprawia, że zwiedzenie całego kompleksu zajmuje co najmniej dzień.
Na rezydencję składają się dwa budynki: Stary Pałac, który został wybudowany przez papieża Benedykta XII charakteryzujący się surowym i oszczędnym stylem oraz Nowy Pałac wzniesiony przez jego następcę Klemensa VI, którego zamiłowanie do bogactwa i sztuki wyraźnie zaznacza się w architekturze budowli późniejszej.
W Pokoju Jeleni podziwiać można freski przedstawiające dworskie obrzędy łowieckie i jest to jedyne pomieszczenie w całym pałacu poświęcone tematyce świeckiej.