Du château construit par Philippe Auguste ne demeure plus aujourd'hui que le front sud-ouest. Quatre belles tours cylindriques d'un diamètre de 9 mètres, dont deux formant châtelet, rythment les vestiges d'une courtine. Elles sont percées de plusieurs fines et longues archères. Certaines sont des restitutions postérieures à la Première Guerre Mondiale. On perça également au XVe siècle des canonnières rondes, surmontées d'un orifice cruciforme destiné à la visée et à l'évacuation des gaz. Les bases de ces tours sont talutées, pleines et marquent un léger ressaut. Elles possédaient deux niveaux intérieurs avec voûtes d'ogives. L'ensemble est construit en petit appareil régulier proprement taillé.

L'entrée est donc sertie, selon le schéma philippien, entre deux tours circulaires. Elle était défendue par un assommoir et barrée par un couple herse-vantaux. Ce dispositif, caractéristique du début du XIIIe siècle, se retrouve notamment au château de Dourdan (Essonne), également bâti par Philippe Auguste.

Des fouilles ont permis de déterminer l'assiette primitive du château. Il s'agissait d'un hexagone cantonné à chaque angle d'une tour ronde et dominé par un donjon. Ce dernier fut commandé par le roi pour la somme de 2000 Livres. Il devait avoir la structure classique de ces grandes tours philippiennes dont le roi parsema son domaine (Chinon, Gisors, Villeneuve-sur-Yonne, Vernon, Verneuil-sur-Avre, Lillebonne, Rouen…). Il consacra en outre 80 livres à l'entretien du site et plus de 1900 livres à l'édification de murs et tours, le creusement de fossés et l'installation d'un pont mobile. Il existait probablement un hourdage aux sommets des maçonneries, selon l'usage courant de ce temps.

La place a subi de nombreuses adaptations durant les siècles suivants, tout particulièrement aux XVIe et XVIIe siècles. Mais les bombardements de 14-18 ont fait disparaître une large partie de ces aménagements et dévasté la forteresse médiévale.