Den første porten mot fergestedet var bygget i tømmer, som ble erstattet av dagens port med Fredrik IV’s monogram i 1727. Fergestedet har ligget her i uminnelige tider, her har det vært overgangssted over Glomma lenge før byen ble anlagt. Fortsatt går fergen over Glomma her. Umiddelbart innenfor porten lå det fra 1700 soldatkaserner, disse brant ned i 1764, nye kaserner ble bygget i 1769, disse brant på nytt i 1830. Etter dette ble Kommisjonsgården oppført på den gamle grunnmuren, som retts- og møte