Le château de Ham se présente comme une grande enceinte rectangulaire de 120 mètres sur 80. Cette enceinte était autrefois flanquée de quatre tours d'angles circulaires fortement saillantes : Tours de l'Etang et aux Poudres au sud ; Tours de l'Esplanade et du Connétable au nord. Une cinquième tour, carrée, trônait au milieu de la courtine nord. La Tour du Connétable était de très loin la plus imposante : sa hauteur taquinait les 33 mètres pour un diamètre identique. Ses murs, conçus pour résister à la canonnade, atteignaient 11 mètres d'épaisseur. Les plate-formes sommitales avaient été aménagées pour recevoir l'artillerie et des bouches à feu permettaient l'usage d'armes à poudre légères. Des Douves en eau entouraient l'inexpugnable refuge. On pénétrait dans la place par un massif de plan carré avec passage voûté en berceau, barré par une herse et des vantaux. Cette seule construction en pierre de taille, brique rouge et pierre blanche, subsiste encore de nos jours. Elle fut précédée au XVIIe par une barbacane triangulaire (demi-lune).

Le comte de Saint-Pol avait fait graver sa devise dans la pierre : " Mo myeux ", " Ce que j'ai fait de mieux ". Elle était brodée sur l'étendard de ce prince, fervent animateur de la Ligue du Bien Public, lors de la bataille de Montlhéry (16 juillet 1465). Au-dessus de l'une des fenêtres de la Tour du Connétable figurait donc cette inscription lapidaire. Elle fut retrouvée en 1975 à plus de 300 mètres de la place...