Un trésor monétaire d'environ 140 pièces à l'effigie d'empereurs romains (de Claude à Domitien, 41 à 96 apr. J.C.) et des sarcophages mérovingiens, nous renseignent sur les premiers occupants de Nemours.

D'après André Châtelain, c'est le vicomte du Gâtinais Foulque, entre 1112 et 1126, ou son fils Orson, autour de 1130, qui ont pu bâtir la première fortification en pierre surveillant le passage du Loing. A la mort d'Orson, en 1148, son gendre Gauthier de Villebéon devient seigneur de Nemours. Ses fonctions à la cour royale -grand chambellan de Louis VII puis de Philippe Auguste- lui permettent d'édifier le donjon à tourelles dans les années 1150-1180 (période proposée par André Châtelain ; entre 1170 et 1180 précise Christian Corvisier ; années 1170 d'après Jean Mesqui). Ces deux derniers placent la construction de la tour du Guet quelques années après celle du donjon. En 1197, une charte faisant référence aux fossés " circa castellum nemosii " laisse supposer que l'ensemble castral, galerie comprise, est achevé.

En 1274-1276, Jean et Philippe, seigneurs de Nemours, appauvris par les croisades, vendent le château au roi de France.

Pendant la guerre de Cent Ans (mai 1358), Nemours est pillé et incendié par les troupes du capitaine d'Epernon, James Pipe, et de Jean III de Grailly, captal de Buch. En 1420, la ville tombe de nouveau aux mains des Anglais. Elle est libérée par Jacques d'Anjou en 1437.

La paix revenue, les ducs de Nemours, dans le dernier tiers du XVe siècle, transforment le donjon pour le rendre plus habitable (percement des fenêtres, création de six cheminées, création ou restructuration de l'escalier à vis, suppression du hourd, réfection du comble, élévation du 3ème étage, couverture en poivrières des quatre tourelles, construction de la charpente couvrant la galerie -ces quatre derniers aménagements étant plus incertains).

Au XVIIe siècle (1638-1639) de nouveaux travaux sont entrepris : remaniement des charpentes et des planchers du château, arasement des parapets du chemin de ronde du donjon, suppression du niveau de couronnement des tourelles dans le but d'aligner leur niveau à celui du corps central. En 1644, les prisons du château (salle basse du donjon et annexe adossée le long de la galerie) sont réaménagées. En 1674, le duc Philippe d'Orléans alloue des crédits pour restructurer le donjon et le transformer en palais de justice (perron accédant à la salle d'audience, portail d'entrée).

A la Révolution, on y installe un atelier de filature, des écoles, une salle de spectacle… Au début du XXe, siècle des travaux de restauration sont entrepris afin d'y aménager le musée local, qui sera inauguré en 1903. Après de nouveaux travaux, le musée réouvre ses portes en octobre 2007.