Tønsberg jest miastem, które choć dziś spokojne i dość senne, to w przeszłości było jednym z najważniejszych ośrodków Norwegii. Należy do grona najstarszych miast w kraju, a do XVI w. znajdowała się tu jedna z siedzib królewskich. Jej pozostałością jest rozległy kompleks ruin średniowiecznej twierdzy, kościołów oraz budynków mieszkalnych.
Pierwsze wzmianki o mieście znajdują się już w norweskich sagach, a za datę jego założenia uznaje się rok 871. Na wzgórzu stała wtedy twierdza Tunsberghus, której ruiny pod nazwą Twierdza Slottsfjellet są dziś najważniejszą atrakcją Tønsberg. Można tu zobaczyć pozostałości kościoła św. Michała w XII w., wielkiej sali królewskiej oraz kasztelu obronnego. Zamek zniszczyli w 1503 r. Szwedzi podczas jednego z najazdów.
Okolice Tønsberg są bogate w pamiątki z okresu Wikingów. Znajdują się tu liczne kurhany oraz kamienie z wyrytymi znakami. odkopano tu m.in. kompletny okręt Wikingów z X w., którego rekonstrukcję, wraz z innymi przedmiotami z tego okresu oglądać można w Muzeum Slottsfjell. Zupełnie odmienne zbiory prezentuje Muzeum Sztuki Haugar Vestfold, które skupia się na sztuce współczesnej tworzonej przez norweskich artystów.
Życie rozrywkowe miasta skupia się na Promenadzie w Tønsbergu. Stoją tu kolorowe domy, w których mieszczą się restauracje i wędzarnie, a przy nabrzeżu cumują łodzie i niewielkie jachty. Nieco dalej od centrum wybrzeże usiane jest domkami letniskowymi z własnymi pomostami i cumującymi łódkami.
