L'enceinte construite par Richelieu à compter de 1630 dessine un grand carré de 400 mètres de côté, avec un bastion planté à chaque angle et au milieu des faces est, ouest et sud. Les remparts ont une hauteur moyenne de 12 mètres et possédaient à l'origine un parapet. On compte nombre de fines échauguettes. Un chemin de ronde court sur tout le pourtour. Deux portes (porte Royale au nord, porte d'Hiers ou de Marennes au sud) permettaient de pénétrer dans la place. On trouve sur les murs de ces portes de nombreux graffitis, simples noms le plus souvent, mais aussi parfois de splendides reproductions de navires (porte Royale, près de laquelle se trouvaient les quais et accostaient les bateaux). A la porte Royale sont adossées les forges royales, avec une remarquable cheminée centrale. L'escalier Marie Mancini grimpe le long des forges et emmène au sommet des courtines.

La ville est striée d'un réseau de rues rectilignes. Au centre de ce maillage se dresse la sobre église Saint-Pierre (1608), à la décoration très influencée par le passé maritime des lieux. On trouve également deux poudrières (de la Brèche et Saint-Luc), d'anciens casernements, une halle aux vivres et une glacière enterrée.

Ci-dessous plan de Brouage au XVIIIe siècle.