Varberg zaliczany jest do najważniejszych szwedzkich kurortów nadmorskich. Oprócz piaszczystych plaż z iście śródziemnomorskim klimatem oferuje też największe w Szwecji zagęszczenie ośrodków spa oraz doskonałe warunki do surfowania.
Historia miasta sięga XIII w., gdy na skalnym cyplu nad cieśniną Kattegat zbudowano twierdzę. Unowocześniana i rozbudowywana przez wieki była strategicznym punktem w tym rejonie, a po zakończeniu wojen duńsko- szwedzkich zamieniono ją w więzienie. Dziś odrestaurowana warownia jest udostępniona turystom, a w jej murach działa muzeum regionalne oraz hostel.
Jednak największą atrakcją dla większości przybywających do Varbergu są tutejsze plaże. Miasto ma charakter modnego wczasowiska z promenadą, licznymi restauracjami i barami, targiem, na którym kupić można wszystko od jedzenia po pamiątki oraz portem rybackim.
Od początku XX w. Varberg rozwijał się także jako uzdrowisko klimatyczne. Zapoczątkowano wtedy budowę saun i ośrodków spa. Najbardziej znanym z nich jest wyglądający jak pałacyk, stojący na palach wbitych w dno morza Kallbadhuset, gdzie z gorącej sauny można wskoczyć wprost w zimne wody Bałtyku.
Plaże w Varberg są piaszczyste, a latem można tu zażywać zarówno kąpieli słonecznych jak i morskich. Ze względu na wiejące w tym rejonie wiatry panują tu dobre warunki do uprawiania windsurfingu. Bardzo popularna jest też turystyka wędkarska. Z portu rybackiego można się wybrać na kilkugodzinne wycieczki połączone z połowem.