Guy de Baudémont, comte de Braine, est le premier seigneur connu de Nesles. Il marie sa fille Agnès, en 1152, à Robert Ier, comte de Dreux. C'est son petit-fils, Robert III qui, avec l'accord du comte de Champagne fait édifier une maison forte à Nesles. A la fin du siècle (1276 ou 1281) le château passe, par mariage, à la famille de Châtillon qui le cédera un siècle plus tard à Jean II La Personne.

Au début du XVe siècle (septembre 1411), une offensive sur les possessions du duc d'Orléans le fait tomber aux mains du duc de Bourgogne. Treize ans plus tard, sa garnison capitule devant les troupes anglaises. La place sera commandée quelques temps par Sir Hemon Heron.

Le logis Renaissance est édifié vers 1526 par Nicolas de Louvain (chambellan du duc d'Orléans). Le château est vendu trois ans plus tard au connétable Anne duc de Montmorency.

Ayant servi de refuge aux huguenots en 1568, le château est démantelé : couronnement, crénelage et étage supérieur des tours disparaissent.

Converti en ferme avant la révolution, le château subit son dernier épisode guerrier pendant le premier conflit mondial. Lors des combats de l'Ourcq, du 21 juillet au 06 août 1918, la 42ème division U.S. prend le château, évacué par les allemands après un terrible bombardement d'artillerie. A partir de 1970, les restaurations commencent.