Le premier seigneur de Bruzac, Hélie Flamenc, apparaît en 1040 dans un acte de donation à l'abbaye d'Uzerche. Son fils, Guy, est mentionné comme donateur au monastère de Vigeois en 1112 et 1143.

Au siècle suivant, en 1244, suite à un héritage, les frères Flamenc se partagent le site. C'est sans doute à partir de cette date que deux châteaux vont se côtoyer à Bruzac. En 1258, un litige oppose les vicomtes de Limoges et ceux de Rochechouart pour la suzeraineté de la co-seigneurie.

Guy VI, vicomte de Limoges, récupère le Bas-Bruzac et ses seigneurs, Raoul et Bernard Flamenc, entrent dans sa vassalité. Aimery IX, vicomte de Rochechouart, récupère le Haut-Bruzac et son seigneur, Hélie Flamenc. A la fin du XIIIe siècle, le Bas-Bruzac n'est plus aux mains des Flamenc, car il appartient désormais à un certain Hélie de Neuville.

Durant la guerre de Cent Ans, les Anglais occupent les lieux avant d'en être chassés en 1404-1405 par le seigneur d'Albret, connétable de France.

Au cours de l'année 1547, Jean de Gontrand, seigneur de Biron et de Bruzac depuis six ans, cède le Bas Bruzac à Geoffroy de la Marthonie. Mais en 1583, le futur Henri IV le donne à son conseiller, Philippe Duplessis-Mornay et en dépossède ainsi la famille de la Marthonie. Celle-ci est de nouveau mentionnée comme propriétaire en 1667. Par mariage, le Bas Bruzac passe à la famille du baron de Beynac, puis au comte de Bonneval - César Phoebus François - en 1764 et à la famille de Beaumont, en 1773. A la révolution, les châteaux sont abandonnés et deviennent carrières de pierre.