La forteresse est attestée au début de la première Croisade contre les Albigeois, mais ne jouera qu'un rôle mineur dans la suite des événements. Les chevaliers du nord s'en emparent en 1210 après seulement trois jours de siège. Elle est alors confiée par Simon de Montfort à son compagnon Lambert de Thury qui la détient au moins jusqu'en 1213. Elle passe ensuite à Thomas Pons de Bruyères. Place proche de la frontière avec l'Aragon, Philippe le Hardi (1270-1285) la dote d'une garnison permanente après 1280.

Le château est totalement remanié au XIVe siècle et quitte vers 1350 par mariage la maison de Bruyères, pour rentrer dans celle de Géraud de Voisin. Il change de propriétaires à plusieurs reprises au cours des siècles suivants et est sans doute abandonné au début du XVIIIe siècle. Il souffre de dégradations durant la Révolution et fait l'objet de premières restaurations au début du XXe siècle.