Le château primitif occupait l'extrémité occidentale du promontoire, sans doute dès la fin du XIIe siècle. Il ne reste plus de ce premier ensemble que des ruines difficilement lisibles. Les siècles y ont superposé les constructions, rendant une identification et une datation hasardeuses et complexes, que seules des fouilles approfondies pourraient partiellement révéler.

Devant cette partie ancienne dotée d'une citerne s'élève un magnifique donjon carré. Il fut certainement érigé après 1310 et symbolise la persistance ponctuelle du modèle de la tour résidence quadrangulaire, écarté par les canons de l'architecture philippienne. Sa principale fonction était d'afficher la puissance seigneuriale. Il constituait également le dernier refuge face à l'éventuel assaillant. Il culmine à plus de 30 mètres. Ses côtés mesurent 15 mètres et le volume intérieur se décompose en plusieurs espaces. Le premier niveau, partiellement souterrain avec voûte en berceau, servait de cave à provisions. Le second niveau abritait une chapelle avec une remarquable fontaine liturgique, commodité particulièrement rare dans les enceintes castrales. Elle possède une remarquable voûte asymétrique sur croisée d'ogives à six nervures. Les culots sont sculptés de personnages sévères ou grimaçants, d'un angelot… A la clef figure un médaillon rond représentant un roi couronnant sa reine. Le troisième niveau, également superbement voûté, est composé d'une pièce unique très certainement dédiée à la réception des hôtes de marque. Les culots des huit nervures sont cette fois ornés de fines sculptures figurant des musiciens et les armes des Bruyères figurent à la clef de voûte. On y devine encore nettement des joueurs de cornemuse, de rebec, de tambourin, de luth, de guitherne, d'orgue portatif, de vièle à archet et de psaltérion. De belles fenêtres à coussièges apportent le jour dans les vastes volumes.

Devant cet édifice s'étend une vaste basse-cour presque rectangulaire de 45 mètres sur 80. Elle est flanquée dans trois de ses angles de tours circulaires. Celles du front sud sont malheureusement dérasées. La tour nord-est possède des archères à étrier sur trois niveau et une base talutée pleine. L'angle nord-ouest est occupé par le donjon. La courtine sud, aveugle, est interrompue en son centre par une grosse tour carrée percée d'archères à étriers. La muraille septentrionale est pour sa part dotée d'archères à intervalles réguliers et coupée en son centre par un flanquement cylindrique à bossages. Des ébrasements au revers percés sur toute sa longueur.

La tour-porte carrée de 10 mètres de côté défendait l'accès principal à l'orient. Elle possédait une herse, un assommoir et plusieurs archères à étrier.