Varbergs stadsbyggnadshistoria sträcker sig tillbaka till medeltiden. De äldsta byggnaderna som finns kvar som mer än ruiner finns på Varbergs fästning. I själva staden är de äldsta byggnaderna från taletdå staden flyttats flera gånger samt helt eller delvis brunnit ner eller bränts av fientliga soldater åren, och Bebyggelsen bestod i äldre tider mestadels av trähus.
Det äldsta bevarade exemplet är det Hayska husets äldre del, som finns bevarat från tiden före branden Efter den sista branden började man uppföra fler hus i sten och tegel, vilket gav högre brandsäkerhet. Med järnvägens ankomst växte Varberg kraftigt vid slutet av talet.
Varberg blev en flitigt besökt kurort bland bättre bemedlade. Vid talets slut och talets början uppfördes kallbadhusetSocietetshuset och varmbadhuset bland andra byggnader som hör till stadens mest kända. Under talet utvecklades och industrialiserades Varberg.
Under seklets senare del revs delar av den äldre bebyggelsen. Det mest kända och kritiserade exemplet är rivningen av Gerlachska huset Under talet uppstod också nya bostadsområden utanför centrum, däribland HåstenSörsedammen och Brunnsberg. Under talet har staden främst expanderat söderut genom bebyggelsen på Breared.
De tre höghusen vid Söderhöjdtolv, tretton och fjorton våningar höga, stod klara Under historien har staden Varberg flyttats flera gånger, och därför finns inte många byggnader bevarade från tiden före talet. Dessutom har staden — i likhet med många andra svenska städer — eldhärjats vid flera tillfällen.
Än idag är dock Varbergs fästning en av stadens mest berömda och framträdande byggnader. Dess äldsta Söktermer är från slutet av taletmen de kraftiga vallar som omger den medeltida borgen är uppförda under och talen. Greve Jacob Nielsen av Norra Halland anklagades för delaktighet i mordet på den danske kungen Erik Klipping den 22 november Han förklarades därför fredlös.
Den enda stadsbildningen i området var Getakärren av Varbergs tidigaste föregångare. Från detta berg, wardhbergmed betydelsen "vaktberg", har Varberg fått sitt nuvarande namn. Greve Jacobs borg, den norra slottslängan som är fästningens äldsta hus, saknade fönster och ingången satt uppe under taket för maximal säkerhet.
Murarna var upp till två meter tjocka, vilket kan ses vid den nuvarande entrén till Länsmuseet Varbergsom huggits upp genom muren. Ända fram till var den i bruk som gudstjänstlokal för garnisonen på fästningen. Under senare tid har fönster huggits upp i murarna.