La tour de Broue est plantée à la pointe d'une langue rocheuse (appelée puy) s'enfonçant sur deux kilomètres dans la plaine marécageuse de Brouage. L'altitude moyenne de ce puy est d'une vingtaine de mètre au-dessus du niveau de la mer. Il domine donc largement les alentours et constitue par conséquent un point d'observation privilégié sur des lieues à la ronde.

Le château de Broue est directement mentionné pour la première fois dans l'acte de fondation de l'abbaye Notre-Dame de Saintes, par le comte d'Anjou Geoffroi Martel (1047). La présence de ce potentat loin au sud de ses terres peut surprendre. Mais si nous suivons le chroniqueur Adémar de Chabannes, les dynastes angevins se seraient établis dans la région vers 1015, avec l'approbation du duc d'Aquitaine Guillaume le Grand (993-1030) : " Au comte d'Anjou Foulques (III Nerra), qui avait été recommandé entre ses mains, il concéda comme bénéfice Loudun, avec quelques autres châteaux en Poitou, Saintes aussi avec certains châteaux. "

Foulques III Nerra (987-1040) construisit une quantité importante de forteresses durant son long règne sur toutes ses terres et même parfois sur celles des autres. Il fut également l'un des grands précurseurs de l'usage de la pierre. La mention d'Adémar " Saintes et certains châteaux " incite à penser que Broue existait déjà et faisait partie du lot, puisque le fils de Foulques, Geoffroi Martel, l'avait en sa possession en 1047. Il est donc assez tentant de voir au donjon de Broue l'œuvre de Foulques Nerra, même si cette hypothèse ne peut à l'heure actuelle s'appuyer que sur un faisceau de présomptions. Seule une analyse détaillée des vestiges subsistants pourrait infirmer ou confirmer une telle théorie. Si elle devait se vérifier, la tour de Broue figurerait parmi les plus anciens donjons conservés en France.

A cette époque, coulait au pied du puy rocheux un petit cours d'eau nommé la Brouage. Il s'agissait en fait d'un bras de mer navigable qui permettait à des barges ou à des navires à faible tirant d'eau de parvenir jusqu'à la base de la tour. Le petit port qui s'y trouvait servait à acheminer le produit des salines, dont la châtellenie de Broue tirait l'essentiel de ses ressources. La tour avait donc une double fonction : servir d'amer aux marins et protéger les salines. Il s'agissait là du Portus Santonum, le port de Saintes, mentionné au IIe siècle apr. J.-C. dans la Géographie de Ptolémée.

Le duc d'Aquitaine Guy-Geoffroi (1058-1086) parvint à reprendre Saintes et la Saintonge à Foulques le Réchin, l'un des héritiers de Geoffroi Martel. C'en était désormais terminé de la présence angevine dans la région. Broue fut confié à un certain Hugues de Doué et ses descendants conservèrent la forteresse pendant plusieurs générations.

L'histoire du lieu se résume, pour ce que nous en connaissons, à l'exploitation des riches salines, avec les impératifs et les contentieux susceptibles de naître du partage d'une telle manne. Les sires du lieu connurent notamment quelques démêlés avec les prieurs de Saint-Gemme, détenteurs de biens non négligeables dans la région. En 1244, un certain Geoffroi de Doué fut condamné à payer une amende pour avoir négligé les travaux d'entretien de son port.

Dans le dernier tiers du XIIIe siècle, la seigneurie passa aux Rochefort. Au XIVe siècle elle fut aux Baussay avant de tomber dans le dernier quart de ce même siècle, dans l'escarcelle de la famille de Pons. Mais déjà sonnait l'heure du déclin. La mer se retira loin du puy de Broue et l'envasement de la zone s'accéléra. Les hommes suivirent les flots dans leur migration vers l'ouest et fondèrent au XVIe siècle le port de Brouage.

Il ne reste plus à Broue que les vestiges d'une chapelle romane et quelques tronçons de l'enceinte protégeant le donjon. Ce dernier couronne une motte semi-artificielle ovoïde. Il dessinait autrefois un rectangle de 20 mètres sur 16 mètres. Seule sa façade occidentale est intégralement conservée sur une hauteur d'environ 25 mètres. Elle possède cinq contreforts plats et est presque totalement aveugle. Deux petites fenêtres sont toutefois percées au sommet. Le parement est appareillé en pierre de taille (base et contreforts) et en petits moellons irréguliers. D'innombrables trous sont les traces des échafaudages utilisés lors de la construction.

Quelques détails de l'agencement intérieur sont encore lisibles, telles des latrines et une belle cheminée à colonnettes. On trouve également sur le pan de mur subsistant au sud les trous destinés à recevoir un plancher. Il s'avère difficile de déterminer le nombre de niveaux internes (peut-être quatre) et il est possible de considérer que seul le dernier avait une vocation résidentielle (cheminée).

Le site de Broue est exceptionnel à plus d'un titre. Outre cette tour squelettique semblant vouloir défier le temps, le paysage qui s'ouvre au regard sur le marais de Brouage est à couper le souffle. Une avifaune extrêmement riche peuple par ailleurs le secteur.