Le cœur de la forteresse est délimité par une enceinte oblongue flanquée de sept tours cylindriques pleines. Adossé au vide trônait autrefois un donjon roman à contreforts plats, disparu dans l'effondrement de 1875. On pénétrait dans cet ensemble par un corps d'entrée rectangulaire défendu par deux assommoirs et une archère, et barré par une herse et des vantaux. Il était précédé d'une petite barbacane rectangulaire bâtie au XVe siècle.

La seconde enceinte occupe tout un éperon rocheux et épouse les contours irréguliers du relief sur plus de 700 mètres, suivant sans doute le périmètre de l'ancien oppidum celte. Elle était primitivement flanquée de 43 tours cylindriques ou hémicylindriques. Plus de la moitié ont malheureusement disparu. Les plus anciennes datent de la fin du XIIe ou du début du XIIIe siècle. Certaines sont pleines, d'autres possèdent deux étages intérieurs sous le niveau du chemin de ronde. On y dénombre quantité d'archères à niches, croisillons et étriers, indices irréfutables d'une influence anglaise. La Tour de la Fontaine épouse par ailleurs le très caractéristique plan en amande, souvent utilisé dans les constructions des Plantagenêts. La porte principale, sise au nord-est, était autrefois enserrée entre deux cylindres fortement saillants. Ces tours jumelles furent tardivement réunies par une façade de plan curviligne, constituant ainsi une seule et unique tour-porte.

Une chapelle castrale desservie par un collège de chanoines occupait le centre de la basse-cour. Elle a disparu dans la tourmente des siècles passés.