Des fouilles archéologiques menées sur la colline de Loudun ont révélé une présence humaine depuis le paléolithique. Le site fut occupé sans discontinuité jusqu'à la fin du Moyen Age. Les Celtes y établirent vraisemblablement un lieu de culte dédié au dieu Lug et un solide oppidum, comme l'atteste le toponyme " Dun " désignant systématiquement un retranchement fortifié. Lugdunum fut renforcé par les Romains sans doute après les premiers raids germaniques du dernier quart du IIIe siècle, avant d'être définitivement emporté dans la tourmente des invasions barbares. Un atelier monétaire survécut cependant à l'époque mérovingienne, frappant des pièces aux noms d'éminents personnages locaux dont seuls nous restent les patronymes : Sigismond, Seudulf, Bonicius.

Grand bâtisseur devant l'éternel, le comte d'Anjou Foulques III Nerra (987-1040) y fit dresser une première tour après 1028, pour protéger ses états d'éventuelles incursions des comtes de Poitou. Elle fut détruite à une date indéterminée et probablement reconstruite à la charnière des XIe-XIIe siècles par son petit-fils Foulques IV le Réchin (mort en 1108).
.

Loudun faisait partie intégrante de l'immense empire Plantagenêt, jusqu'à sa prise par le roi de France Philippe Auguste en 1206. Le Capétien ceintura la ville d'une nouvelle muraille et renforça considérablement le château. Il y bâtit notamment l'une de ces grosses tours maîtresses qui marquaient généralement son empreinte sur une cité ou une citadelle (Gisors -Tour du Prisonnier-, Falaise -Tour Talbot-, Villeneuve-sur-Yonne, Chinon -Tour du Coudray-, Verneuil-sur-Avre - Tour grise -, Lillebonne, Montlhéry, Rouen -Le Donjon-, Issoudun -Tour Blanche-, Vernon -Tour des Archives- et Dourdan). Seules subsistent les fondations de cet édifice remises à jour en 1946. Nous savons qu'un maître Eude fut mandaté par Philippe Auguste à Loudun afin d'y réaliser un hourd, une tournelle et la couverture de trois autres tours.

Siège de baillage avant 1218, Loudun connut de nombreux pillages durant les Guerres de Religions. La place servit de gage aux Protestants lors de la conclusion de l'Edit de Nantes (1598). Un gouverneur adepte de la religion réformée commanda même la forteresse de 1589 à 1619. Mais Louis XIII ordonna le démantèlement des remparts par lettres patentes datant de l'année 1622. La tour philippienne subit le même sort en 1633. Seule fut conservée intacte la Tour Carrée.