Brosse est mentionné en 937, dans le cartulaire de l'abbaye de Saint-Cyprien de Poitiers, comme le siège d'une vicomté relevant du Poitou. Vers 950, celui-ci passe par mariage aux vicomtes de Limoges, Géraud épousant Rotilde de Brosse. Dès lors, les seigneurs de la région vont se disputer la place : Guy (fils de Géraud) fera lever le siège du château mené par les comtes de Poitou et de Périgord. Adhémar, son fils, y ayant délogé les hommes d'Hugues de Gargilesse y sera assiégé par les comtes de Poitou et de la Marche. Guy, de nouveau, fera lever le siège.

Bertrand de Brosse, souhaitant se soustraire à l'autorité Plantagenêt -Brosse est sous suzeraineté anglaise depuis 1154- rend hommage à Philippe Auguste en mars 1194. Pour le punir, Richard Cœur de Lion, en mai, confisque le château (qui lui sera rendu deux ans plus tard). Vers 1206, Brosse repasse aux mains de Philippe Auguste.

C'est sans doute sous l'impulsion des ducs Plantagenêt, qu'est construite durant cette période l'enceinte flanquée des tours du front nord-ouest. Le donjon (possédant quelques caractéristiques philippiennes) pourrait bien avoir été achevé par Philippe Auguste pour marquer sa nouvelle conquête.

Par mariage, Brosse passe en 1328 à la famille de Chauvigny. On doit à celle-ci, aux XIVe et XVe siècles, l'édification des tours du front sud, la façade d'entrée plaquée sur le châtelet d'origine et les vastes logis centraux (aujourd'hui disparus). En 1369, Guy de Chauvigny prête fidélité au roi de France. En représailles, le sénéchal de Poitou assiège, prend et démantèle la forteresse de Brosse.

En 1502, à la mort d'André de Chauvigny, le château est acquis par Louise de Bourbon, dame d'Argenton. Il restera jusqu'au début du XVIIIe siècle dans la famille Bourbon-Montpensier.

En 1768, le dernier vicomte de Brosse (M. de Fougiere) récupère les tuiles, les poutres et la charpente des bâtiments, ainsi que l'escalier à vis du donjon. Il autorise également les habitants à s'approvisionner en pierres. Cette « récupération » aura pour conséquence la destruction totale des logis et l'effondrement d'une partie du donjon (entre 1820 et 1838).