L’éperon rocheux a livré des pièces archéologiques attestant d’une occupation du site au Néolithique, aux Âges du Bronze et du Fer et au Bas Empire (tessons de céramique, haches et fibules, perles en verre, monnaies et céramiques). Des premières fortifications attribuées aux wisigoths, aucune trace, sauf peut-être les deux « morceaux » d’enceinte découverts dans les années 1960.

Un certain Géraud de Crosenc, donateur à l’abbaye Saint Martial, apparaît dans la Chronique de Vigeois dans les années 1014-1023. Ce même Géraud est mentionné comme témoin d’une donation en 1019. Selon la chronique, ses descendants seraient les sires de Bridiers. Le château, lui, apparaît au XIIe siècle dans une donation au monastère d’Aureil.

Géraud de Crozant lègue en 1136 ses terres au fils du vicomte de Brosse. Dans le dernier tiers de ce même siècle, la place passe aux mains du comte de la Marche, Audebert IV. Ce dernier cède son comté (dont Crozant) au duc-roi Henri II en 1177. Jean Sans Terre, vingt trois ans plus tard, reconnaît Hugues IX de Lusignan comme comte de la Marche et lui remet Crozant. Isabelle d’Angoulême, sa belle fille, y fait bâtir entre 1217 et 1242 la « grosse tour » circulaire. Il est à noter qu’avant cette nouvelle fortification, Philippe Auguste (en 1214) considérait déjà le « Crusanum Castrum Comitis Marchie » comme une forteresse de frontière hautement stratégique.

En 1242, après la défaite d’Hugues X, époux d’Isabelle, à bataille de Taillebourg, la couronne française prend possession de la forteresse. Les troupes d’Alphonse de Poitiers vont y prendre leurs quartiers pendant huit ans. A la mort de Gui de Lusignan, en 1308, Philippe le Bel saisit ses biens et une garnison royale investit de nouveau la place. En 1327, le roi Charles IV cède la Marche à Louis de Bourbon. Crozant, bien que possession secondaire des ducs de Bourbons, reste dans cette famille (Bourbon, Armagnac et Beaujeu), jusqu’en 1523, année où elle réintègre le domaine royal.

En 1588, le château subit les guerres de Religion et tombe progressivement en ruine ; le tremblement de terre de 1606, n’arrangeant pas les choses. Toutefois, en 1640, lorsque Louis XIII vend le château à Henri Foucault, gouverneur de la Marche, les ruines sont encore imposantes.

Acquis par la commune dans les années 1990, le château, depuis l’an 2000, bénéficie de travaux de cristallisation.