Colbert décida en 1666 de créer un arsenal en Aunis afin de doter le pays d'une marine capable de contrebalancer la puissance maritime anglaise. Il hésita d'abord à agrandir Brouage, important port de mer depuis le milieu du XVIe siècle, avant d'opter pour le site de Rochefort, naturellement protégé par un méandre de la Charente et ne risquant pas l'envasement.

L'emplacement présentait en outre le grand avantage d'être bien à l'abri au fond d'une vaste baie, délimitée au nord par l'île de Ré et à l'ouest par l'île d'Oléron.
Pour interdire l'accès à l'estuaire de la Charente aux navires ennemis, les ingénieurs s'employèrent à verrouiller les passes et autres perthuis par un dense réseau de fortifications. Le fort Louvois appartenait à ce réseau. Il avait pour fonction de fermer au sud le coureau d'Oléron, chenal coincé entre l'île d'Oléron et le continent.

Un îlot submersible servit de base à une construction en forme de fer à cheval, édifiée sous les ordres de l'architecte Ferry. On amassa quantité de roches afin d'assurer une assise solide. On cerna l'ensemble d'un épais mur circulaire que l'on laissa ouvert vers l'est. On aménagea dans l'enceinte des casernements, une poudrière, une citerne et des batteries. Du côté ouvert, on éleva une haute tour directement inspirée des donjons médiévaux. Elle possède une face ouest ronde et un éperon acéré tourné vers la terre ferme. Séparée du reste de la forteresse par un fossé franchissable au moyen d'un pont-levis, elle comporte cinq étages. Elle abritait une salle des gardes et les appartements du gouverneur. Une telle réalisation est exceptionnelle au XVIIe siècle, à une époque où les fortifications ont plutôt tendance à réduire leur hauteur afin de donner moins de prise aux boulets de canons. Nous pensons pour notre part que la tour du fort Louvois jouait un rôle de guette, mais aussi d'amer au sommet duquel un fanal pouvait être allumé la nuit venue.