Castres jest miastem znanym przede wszystkim ze znajdującego się tu Muzeum Goya. W centrum zachowało się sporo XVIII i XIX wiecznej zabudowy oraz ogród zaprojektowany przez twórcę ogrodów wersalskich.
Miasto powstało na gruzach rzymskiej osady, a w jego okolicy odnaleziono w czasie wykopalisk pozostałości rzymskich willi. Od wczesnego średniowiecza była to siedziba biskupów, a Castres było ważnym przystankiem na szlaku św. Jakuba do Santiago de Compostela. W czasie rewolucji francuskiej ośrodek doznał wielu zniszczeń, wśród których było ograbienie katedry oraz zburzenie dawnego opactwa franciszkanów. Do dziś przetrwała z niego jedynie wieża.
Centrum Castres zabudowane jest głównie budynkami z XVIII i XIX w. Na miejscu starej średniowiecznej katedy, w XVII w. wzniesiono barokową świątynię. Ważnym obiektem jest ratusz, w przeszłości siedziba biskupów, zaprojektowany przez architekta Wersalu, Julesa Hardouin-Mansarta. Otaczające go ogrody są dziełem twórcy wersalskich ogrodów, Andre Le Notre.
Do najważniejszych atrakcji Castres zaliczane jest Muzeum Goya. Zostało ono założone niedługo po śmierci malarza, w 1840 r. Gromadzi dzieła malarzy hiszpańskich, na czele z pracami Francisco Goyi. Bardzo malowniczym miejscem są okolice przepływającej przez miasto rzeki, ze stojącymi obok siebie kolorowymi domami, które wyglądają jakby przeglądały się w przepływającej wodzie.
