Au milieu d’une prairie circulaire (anciennement un étang alimenté par la Choisille), se dresse un îlot recouvert de végétation. Il sert de support à un ensemble, grossièrement pentagonal, qui au XIVe siècle se composait d’un donjon et de deux enceintes à tours circulaires. Au nord-est, un pont sur piles le reliait au roc portant le village.

La première enceinte (avec tours aux angles et bastion au sud-est) a totalement disparu. Seules subsistent, des cinq tours flanquant la seconde enceinte (qui épousait la forme du rocher), les tours nord et sud (ouverte à la gorge avec cheminée et fenêtre) et le contrefort ayant remplacé au XVIe siècle la tour ouest. Il ne reste des logis de Jacques de Beaune que quelques pans de murs.

Au centre de l’îlot se dresse le donjon roman (13 m x 13 m) dont l’appareillage est fait en belles pierres calcaires finement ajustées. Ses murs s’élèvent encore sur une hauteur d’environ 10 m (sur deux niveaux) et sont renforcés par douze contreforts l’enserrant jusqu’à mi-hauteur. Le schéma classique, cellier (aveugle) au rez-de-chaussée, étage noble au niveau supérieur s’applique à Semblançay. La hotte de sa cheminée (mur nord) et l’arc portant l’escalier d’accès à l’étage supérieur (mur est) sont soutenus par des colonnettes à chapiteaux sculptés. Il s'agit là d'ornements rares dans les donjons de cette époque. Six baies (dont cinq sont obturées) éclairaient ce niveau. Près de l’angle sud-est du mur sud se trouve la porte d’entrée du donjon. « Bizarrement » percée dans le contrefort d’angle, elle débouche sur un escalier mural étroit (80 cm de large) voûté d’arcs en chevrons. L’escalier amène à un palier donnant à gauche, sur une baie en arc brisé et à droite, sur la porte d’entrée de l’espace résidentiel. Une seconde porte à l’angle nord-ouest de la salle devait desservir les latrines.

Marcel Deyres pense que ce second accès devait être l’entrée primitive du donjon et que durant sa construction, son bâtisseur en a changé les plans pour loger l’entrée à « double niveau » sur le mur opposé.