La forteresse occupe un éperon calcaire au-dessus de la vallée de l'Indre. Cet éperon a été barré par un fossé taillé dans la roche côté sud. Il est dominé par la haute silhouette d'une belle tour résidence quadrangulaire datée des alentours de l'an mil. Elle est l'une des plus anciennes de France de ce type, plus récente que l'aula carolingienne de Doué-la-Fontaine, contemporaine de Langeais et sans doute un peu antérieure à Loches. Elle culminait à l'origine à une trentaine de mètres. Elle possède des contreforts plats qui sont, selon Jean Mesqui, postérieurs à la construction primitive. On y pénétrait autrefois au premier niveau, conformément aux usages de l'époque romane. On trouvait à l'intérieur trois niveaux d'élévation : rez-de-chaussée aveugle à usage de cave à provisions ; premier et second étages résidentiels avec aula (grande salle) et camera (appartements). Au second niveau apparaissent encore de belles baies géminées à coussièges. Dans le courant du XIe siècle, peut-être par Geoffroi Martel vers 1050, fut ajouté à l'ouest un avant-corps modifiant le système d'entrée. Il s'agit là d'un aménagement assez fréquent que l'on retrouve à Loches ou Falaise.

Cette construction première a été enserrée au temps d'Henri II Plantagenêt et de ses successeurs immédiats dans une chemise avec deux tours de flanquements du côté de l'attaque. Celle de l'angle sud-ouest est percée d'archères et ne manque pas de points de convergence avec certaines tours du château de Gisors (tour du Diable par exemple), voire de Chinon. Au XVe siècle, les constructions se multiplièrent sur le plateau où se situait autrefois la basse-cour. Un grand logis, dont il ne reste qu'une tourelle cylindrique visible, fut érigé à partir de 1425.

A noter enfin l'existence d'une motte sur le plateau vers le sud. Selon les auteurs, il s'agissait de la forteresse primitive. Pour d'autres, elle est la motte d'attaque qui servit à bloquer la place lors d'un des premiers sièges.