Une famille de Bridiers apparaît dans les textes en 958. Un certain Humbert fait alors une donation à l'église du Dorat. Le château n'est pour sa part pas cité avant le XIIe siècle. Son existence est relevée pour la première fois dans la Chronique de Geoffroy de Vigeois, pour un événement un peu antérieur à 1140. Une vingtaine d'années plus tard, la châtellenie passe par testament à la maison de Brosse et devient le siège de la vicomté de Bridiers (constituée pour un cadet des vicomtes berrichons). En 1177, Bridiers est assiégé et pris par Henri II, roi d'Angleterre, au cours d'une lutte contre Aldebert IV de Montgommery, comte de la Marche.

Dans ses Chroniques de Saint-Martial, Bernard Itier relate l'écroulement de la tour en 1202. Saint Louis s'empare du château pour mâter la révolte du comte de la Marche après la bataille de Taillebourg (juillet 1242).

En 1356, le captal de Bush, allié des Anglais, n'a pu prendre La Souterraine et vient mettre le siège devant la place. Geoffroi David, conseiller du roi Charles V, se voit attribuer Bridiers en 1369. C'est peut être à cette époque que le site du château se déplace à moins d'un kilomètre au sud-ouest.

La construction de la grosse tour est attribuable à Jean de Naillac (avant 1419), qui deviendra grand panetier du roi Charles VII en 1428. Au XVe siècle, le château est aux mains d'Hugues de Chamborand. En compagnie de Jean de Blanchefort, capitaine de gens d'armes, il pille et rançonne les alentours. En novembre 1462, il recevra de Louis XI des lettres de rémission pour les actes commis.

Dès travaux sont réalisés sous le vicomte Henry Pot. Ils sont poursuivis par sa veuve, Gabrielle de Rouville :
- novembre 1655 : parties hautes du donjon (plate-forme sur voûte) suite à un incendie.
- août 1663 : couverture.
- septembre 1672 : " escalier de bois pour monter à la première porte de la grosse tour ". D'autres travaux sont réalisés en 1707, 1720 et 1758 sur " la grosse tour, la maison, les trois tours et les deux granges dans la basse-cour ". Après la Révolution, le château sert de carrière de pierres.

Depuis l'été 1967 le site fait l'objet de chantiers de sauvegarde (déblaiement, travaux de consolidation et restauration de la tour).