Varberg er en gammel vikingeby som tilbage i vikingetiden og op gennem middelalderen tilhørte Danmark. Fra slutningen af 1200-tallet blev der opført en fæstning som adskillige gange blev udvidet og forstærket. I dag står den som et flot og velbevaret monument, og på fæstningen ligger Hallands kulturhistoriske Museum. I Varberg er der en badeanstalt, Kallbadhuset, som er bygget på pæle ud i vandet. Badeanstalten er oprindelig fra 1820´erne, men den nuværende bygning stammer fra starten af 1900-tallet. I dag er Varberg først og fremmest en populær ferie- og badeby. Her er lange sandstrande, mulighed for at bade fra klipper og eventuelt benytte nogle af de mange nudiststrande. I Varberg er her god mulighed for handel, på ”Stora Torget” er her torvemarked, kendt for sit store udbud af fødevarer, blomster, kunsthåndværk mv. (alle lørdage) Desuden er her små hyggelige butikker og gallerier og i Hamnmagasinet ved havnen - Varbergs Kulturhus - sælges kunsthåndværk i form af glas, smykker, keramik m.v. fra de åbne værksteder.