Le château de Brosse est bâti à l’extrémité d’un promontoire rocheux de grès rouge, dans une boucle du Beaulieu. À sa pointe (au sud), une parcelle dénommée « le donjon » a dû porter la fortification primitive.

Le château est constitué d’une grande enceinte pentagonale (125 m de long sur 112 m dans sa plus grande largeur) flanquée d’une tour-porte à ponts-levis, de sept tours circulaires et d’un donjon sur motte (faisant face au plateau). Les fronts nord et nord-ouest sont protégés par un fossé en partie comblé.

Le donjon circulaire, à demi effondré, est construit en moyen appareil de grès rouge. Il mesure 14 m de diamètre (15,70 m pour Jacques Tealdi) et s’élève encore aujourd’hui à 25 m de hauteur. Il se compose de quatre niveaux (une salle basse, deux étages à fonction résidentielle -l’un planchéié, l’autre voûté d’ogives à six nervures- et un étage sommital). Un escalier à vis desservait les trois niveaux supérieurs. Les ouvertures existantes sont percées au dernier niveau : une porte donnant accès aux latrines ou à un balcon à l’est et une baie au nord-ouest (parement intérieur). Les autres ouvertures devaient très certainement être percées dans la partie effondrée du donjon.

La courtine nord-ouest est flanquée de trois tours rondes très rapprochées (chacune mesurant 8 m de diamètre pour 15 m de haut). Le niveau inférieur de chacune d’elles se compose d’une salle ronde desservant trois archères à niches sous berceau en plein cintre. Ces dernières sont à fentes de visée parfois décalées, étrier triangulaire ou circulaire et plongée.

La courtine sud conserve deux tours ouvertes à la gorge avec archères canonnières datant du XVe siècle ; la courtine nord, l’entrée du château (massif rectangulaire plaqué sur l’entrée primitive -porte flanquée de deux petites tours rondes ?-) et une tour à l’angle nord-est.

L’enceinte est divisée dans sa longueur en deux cours par un mur dont il ne reste que quelques tronçons. Des logis s’y adossaient. Il n’en demeure que le mur pignon sur l’enceinte ouest et une tourelle d’escalier (s’appuyant sur un donjon rectangulaire selon Jacques Tealdi).