La seigneurie de La Ferté est sans doute d'existence très ancienne, mais n'apparaît dans les textes qu'au XIe siècle. Feritas Milonis acquiert une certaine importance au XIIIe siècle et est vraisemblablement dès cette époque le chef-lieu d'une prévôté et d'une châtellenie royales. L'ancienne ville était cernée d'une enceinte urbaine, encore partiellement visible de nos jours, datée par Jean Mesqui du début du XIIIe siècle. Après 1380, le comté de Valois tombe dans l'escarcelle de Louis, frère du roi Charles VI et futur duc d'Orléans. Après 1392-1393, le prince fait débuter l'énorme chantier de la Ferté. Il termine parallèlement le château de Pierrefonds. Son assassinat par des sicaires à la solde de Jean sans Peur, duc de Bourgogne, le 23 novembre 1407, vient mettre un coup d'arrêt définitif aux travaux. Le rêve de Louis d'Orléans reste inachevé.

La place se révèle toutefois suffisamment puissante pour soutenir victorieusement un siège en 1423. Le chroniqueur Enguerrand de Monstrelet raconte : " Aussi, vers cette même époque, la ville de la Ferté-Milon fut prise par les Français grâce à l'aide des habitants du lieu. Mais le château fut défendu vigoureusement par ceux qui en avaient la garde, lesquels demandèrent un prompte secours au seigneur de l'Isle-Adam (Villiers de l'Isle-Adam, tenant du parti bourguignon), au seigneur de Castillon et au bâtard de Tyan. Lequel l'Isle-Adam assembla de cinq à six cents combattants et les mena par derrière ledit château. Et plus tard, à une heure convenue, ils assaillirent ensemble ceux qui tenaient la ville. Rapidement, sans grande résistance, ces derniers furent déconfis. Certains furent pris, d'autres tués et tous leurs biens emportés sans aucune pitié. "

Henri IV ordonne le démantèlement de la place en 1594.