La présence gallo-romaine à Gencay est attestée par la découverte de céramiques, de briques et de monnaies (datant d'Auguste 27 avant J.C.-14 après J.C.).

C'est un texte de l'abbaye Saint-Cyprien de Poitiers, de la fin du Xe siècle (vers 987-990), qui nous renseigne sur l'existence de Gencay au Moyen Age. Un second texte, daté de 993, fait référence au " castellum quod Gentiacum dicitur " (Le château qui est dit Gentiacum). A cette date, le château, commandé par un proche du comte du Poitou, est attaqué sans succès par Boson II, comte de Périgord. Trois ans plus tard, Aldebert I comte de la Marche l'attaque à son tour et le détruit. Peu avant 1025, Hugues IV de Lusignan, vassal du comte du Poitou, s'en empare et en renforce les défenses. Après sa restitution, sa garde est confiée à Aimeri II de Rancon.

Entre 1154 (mariage d'Aliénor d'Aquitaine avec Henri II Plantagenêt) et 1214 (bataille de Bouvines et rattachement du Poitou à la couronne française) le château est aux mains de seigneurs anglo-poitevins. Lorsqu'en 1241, Hugues X de Lusignan se ligue avec les plus grands seigneurs d'Aquitaine et du Poitou contre le roi de France, Geoffroy IV de Rancon se rallie à Louis IX et l'aide à mater la révolte.

Cette fidélité qui sera récompensée (" à l'armée qui avait guerroyé contre le roi d'Angleterre et contre les barons, le roi fit de grands dons " : Joinville) va lui permettre, vers 1250, de construire le château que nous connaissons aujourd'hui.

A la veille de la guerre de Cent Ans, les co-seigneurs de Gencay sont Bouchard VIII de l'Ile, son frère (Barthélémy ?) et sa sœur Jeanne. Après la bataille de Maupertuis (19 septembre 1356) et la sévère défaite de l'armée française, le prince de Galles confie la garde du château à Adam Chel d'Agorisses qui l'arme fortement. Il faudra attendre le 17 février 1375 et un blocus de plus de deux ans, mené par le duc de Berry et Du Guesclin, pour que Gencay redevienne français.

Par son mariage avec Catherine de l'Ile-Bouchard, en juillet 1427, Georges de la Trémoille devient seigneur de Gencay. Cette famille en restera propriétaire jusqu'en 1566. Au XVe siècle, le château est encore armé : un inventaire de 1484 mentionne six grosses arbalètes, six couleuvrines et deux canons.

En 1569, pendant les guerres de Religion, le château tombe un court moment aux mains des troupes protestantes commandées par l'amiral de Coligny. Lorsque Jean VIII de Bueil hérite du château, au milieu du XVIIe siècle, celui-ci est en bon état et est encore armé d'un canon. Il va être ruiné, à partir de 1814, par des propriétaires qui vont l'utiliser comme carrière de pierres.

Depuis 1969, plusieurs campagnes de fouilles et de restauration (1969-1975, 1991) lui redonnent vie.