Byens torv lå opprinnelig sør for kirken, men etter brannen i 1672 ble den flyttet til sin nåværende plass. Etter storbrannen i 1764 kjøpte Staten hele kvartalet øst for torget og oppførte «De nye Kaserne». Bygningen sto ferdig i 1787, og regnes som noe av det fineste i militær arkitektur i Norge. Tegningene ble utarbeidet i København og tilpasset lokale forhold av ingeniøroffiser Hans C Gedde. Kasernen påstås i være bygget etter det kalendariske system, med 4 fløyer, og porter, 7 utvendige hjørner, 12 piper, 52 værelser, 60 innvendige dører, 365 vinduer og 24 ruter i hvert vindu. Bygningen var i bruk som kaserne til 2002, og huser nå skolevirksomhet og diverse mindre virksomheter