La présence du suffixe d'origine celtique " dun " (de dunos latinisé en dunum : lieu fortifié) indique vraisemblablement l'existence d'une fortification à Issoudun antérieure à l'occupation romaine, comme à Loudun (Vienne), Dun-sur-Auron (Cher) et même Lyon (Lugdunum)… Le château n'est attesté qu'aux alentours de l'an mil. Il constituait alors le siège de l'une des plus importantes seigneuries berrichonnes.

La place fut longtemps au cœur des luttes entre Capétiens et Plantagenêts. " L'an de l'Incarnation du Seigneur 1187, écrit le moine Rigord (auteur d'une Vie de Philippe Auguste), il [Philippe Auguste] leva une armée nombreuse dans le Berry et entra vivement dans l'Aquitaine qu'il ravagea ; il y prit les châteaux d'Issoudun et de Graçay (Cher), et dévasta beaucoup d'autres forts et territoires environnants, jusqu'à Châteauroux. " Henri II Plantagenêt prit aussi les armes de son côté, mais s'arrêta aux portes de la ville. Le vieux roi, sans doute lassé par tant d'années de conflits incessants, préféra parlementer et Issoudun resta au roi de France. En 1195, toujours selon Rigord, "Mercadier (présent aux côtés de Richard Cœur de Lion lors de sa mort à Châlus), qui était alors chef des Cotereaux (mercenaires de Richard), détruisit avec sa troupe un faubourg d'Issoudun en Berry, y prit la place et y mit une garnison pour le roi d'Angleterre. " Philippe accourut aussitôt, s'empara derechef de la ville et débuta le siège du château. Richard l'y rejoignit avec l'évidente intention d'en découdre, mais les deux souverains choisirent finalement l'option de la négociation et jetèrent les bases d'un accord. Il fut officiellement scellé à Gaillon (Eure), en janvier 1196. Philippe y renonça à la possession d'Issoudun et de Graçay, en échange de la reconnaissance de ses droits sur le Vexin normand. La construction de la Tour Blanche fut entamée entre 1196 et 1200.

En 1200 précisément, Philippe Auguste conclut au Goulet un nouvel accord avec Jean Sans Terre, frère et successeur de Richard. Issoudun revenait cette fois définitivement à la couronne de France. La Tour Blanche n'était pas encore achevée et les ingénieurs du Capétien se chargèrent de la besogne (1202).

La seconde épouse du roi Charles IV (1322-1328), Marie de Luxembourg (née en 1306), décéda dans le château d'Issoudun en 1324.
.