Le beffroi communal :

La vieille ville est dominée par la silhouette du beffroi, ancienne tour à la destination première mal établie. Certains y voient l'ancien donjon du château des comtes de Boulogne, copieusement modifié au cours des siècles et devenu la tour communale après la construction du nouveau château par Philippe Hurepel, au XIIIe siècle. Sa réalisation remonterait au XIIe, voire au XIe siècle. D'autres réfutent cette origine comtale et avancent qu'il s'agissait dès le départ d'une tour communale. La présence de cachots et l'absence de véritables éléments résidentiels viennent plutôt confirmer cette seconde hypothèse.

L'enceinte de ville :

L'enceinte urbaine date essentiellement du XIIIe siècle et est flanquée d'une vingtaine de tours circulaires (sauf une rectangulaire), mais a subi de copieuses modifications pour l'adapter à l'usage des armes à feu ou aux besoins de la vie civile. Elle épouse globalement le tracé de la muraille antique bâtie à la fin du IIIe siècle et dessine un rectangle de 410 m sur 325 m. Les emplacements exacts des portes antiques sont inconnus, même s'il existe une forte probabilité qu'elles se situaient là où s'élèvent encore les portes médiévales. Il s'agissait d'un établissement militaire : la via principalis suivait le tracé de la rue d'Aumont, et la via pretoria celui de la rue du Puits d'Amour. La porte prétorienne se trouvait donc certainement à la place de l'actuelle porte des Degrés. La porte des Degrés et la porte Gayolle sont les mieux préservées dans leur état originel. Elle sont insérées entre deux cylindres percés de postes de tir dans le plus pur esprit philippien, possédaient des systèmes d'arrêts (herse-vantaux) avec assommoir et sas. La porte de Calais a été copieusement modifiée au XVIIe siècle, puis percée au XIXe siècle de passages piétonniers. La porte des Dunes subit également le percement de passages et de fenêtres.

Le château comtal :

Il occupe l'angle Est de l'enceinte urbaine et en est isolé par un fossé propre. Il dessine un polygone irrégulier cantonné à chaque angle d'une haute tour circulaire. Il comporte deux accès opposés enserrés entre deux cylindres primitivement percés d'archères. L'un est tourné vers la place, l'autre vers la ville. Les bâtiments sont adossés au revers de la muraille, dégageant une vaste cour intérieure. Il n'y a pas de grosse tour. Tout cela est très conforme aux canons philippiens. L'ensemble a été largement remanié : aménagement de couloirs d'accès, percement de fenêtres au XVIIIe siècle, modification du couronnement des tours, établissement de puissantes murailles au XVIe siècle…