Bien que la tradition populaire fasse remonter l’origine du village et de ses fortifications à Brunehilde ou Brunehaut (547-613), reine des Francs et régente du Quercy, « Brunichildum » n’apparaît dans les textes qu’en 1083 (autre date proposée 1074).

Le comte de Toulouse Raymond VlI, bâtisseur du donjon à la fin du XIIe siècle, cède la vicomté de Bruniquel à son frère naturel Bertrand en 1224. Les nouveaux vicomtes font bâtir le corps de logis dit « salle des chevaliers » dans la seconde moitié de ce siècle et l’enceinte à la fin de celui-ci. Deux bastions et une barbacane viendront renforcer cette dernière au XVIIe siècle.

En avril 1471, le vicomte Antoine de Comminges vend une partie des droits qu’il possède sur Bruniquel à son cousin Maffre. A la mort d’Antoine cinq ans plus tard, son fils Léonard, héritier lésé par cette transaction, entame une procédure qu’il perdra en 1484. Pour marquer sa « victoire » Maffre fait bâtir le second château (château jeune) entre 1485 et 1510.

Pendant les guerres de Religion (1562-1598), le château vieux fait les frais de la rivalité toujours existante entre les deux « coseigneurs ». Les villageois, emmenés par le vicomte du château jeune -qui a épousé la cause protestante-, s’emparent du château et l’incendient.

La paix revenue, les deux châteaux font l’objet de réaménagements : au château vieux, construction de la galerie Renaissance (vers 1600) et de la salle à manger (fin de siècle), puis reconstruction de l’aile droite en 1720 ; au château jeune, tourelle d’escalier (portant la date de 1683), salle d’apparat et chapelle transformée en cuisine (XVIIIe siècle).

En 1780, Louis Régal d’Ouvrier, vicomte de Bruniquel met fin à la division de la « propriété » en réunissant les deux châteaux. À cette occasion, le donjon est « décapité » et l’enceinte, côté nord-ouest, rasée.

Acquis par la commune en 1987, l’ensemble du monument fait depuis l’objet d’une restauration progressive.