Des découvertes archéologiques, à la fin du XIXe siècle, (une allée couverte datant du néolithique, de nombreuses haches chalcolithique et une sépulture mégalithique remontant à l'âge du fer) ont révélé que le plateau était occupé à la préhistoire.

Le document le plus ancien citant l'existence d'un castrum à Conflans (Confelentis Castro) est un acte, signé le 10 novembre 721, par Thierry IV, roi mérovingien de Neustrie, confirmant des privilèges accordés à l'abbaye de Saint-Bertin.

Un récit rédigé dans le deuxième tiers du XIIe siècle par Robert, prieur de Sainte
Honorine de Conflans, retrace la translation, en 876, des reliques de Sainte Honorine de Graville (aujourd'hui quartier du Havre) à Conflans "dans le camp des Parisis, près du confluent…" confirme encore la présence d'une place forte. Au IXe siècle, ce camp doit être de première importance face aux incursions normandes, car, après l'acquisition du fief de Conflans par l'évêque de Paris, les reliques de la sainte y sont considérées comme en lieu sûr.

Ce fief , vers 987-990, devient possession de la famille des Beaumont-sur-Oise. C'est à la mort d'Ives IV, comte de Beaumont, vers 1080, qu'une guerre de succession se déclare entre Mathieu Ier de Beaumont, son fils, et Bouchard IV de Montmorency, son gendre. Le donjon primitif sera incendié et la tour que nous connaissons aujourd'hui sera construite (après 1080 et avant 1090).

Bouchard ayant gagné cette guerre, les Montmorency vont acquérir des droits sur Conflans. Toutefois, la hiérarchie reste la suivante : le comte de Beaumont est l'homme lige de l'évêque de Paris et le seigneur de Montmorency est vassal du comte de Beaumont pour la moitié du fief et du travers (péage fluvial) de Conflans. Ce n'est qu'à la mort de Thibaud II de Beaumont, décédé sans héritier, que Mathieu de Montmorency prêtera hommage directement à l'évêque. Pour matérialiser cette nouvelle suprématie sur Conflans, les Montmorency vont édifier le Château-Neuf ou neuf-chastel, qui apparaîtra dans les textes à partir de 1268-1270. Ce château sera en 1393 propriété de Guy de la Trémoille, futur chambellan et ministre du roi Charles VII. En novembre 1787, le Château-Neuf est totalement ruiné, comme le précise un document de l'assemblée municipale.

Durant la guerre de Cent Ans, entre 1440 et 1450, plusieurs batailles ont lieu entre Poissy et Pontoise et près du confluent. Lors de l'une d'elles, en 1441, le roi Charles VII trouve refuge au Confelentis Castro.

En 1633, le fief de Conflans, possession des Montmorency depuis trois siècle et demi, passe aux mains du prince de Condé, puis au seigneur de Neuville (1642). Trente ans plus tard, la baronnie est vendue au marquis de Ménars, puis au marquis de Castellane (en 1756). Un siècle plus tard, vers 1862, la consolidation de la face ouest du donjon est réalisée. En 1931, la famille Cornudet fait don à la ville de Conflans de la tour Montjoie. Enfin, en 1979-1980, d'importants travaux de restauration sont effectués sur les faces ouest et sud du donjon.