La fortification de l'éperon surplombant le Loir remonte à l'époque des rois dits fainéants (VIIe-VIIIe siècles). Une enceinte rurale fortifiée abritant le village de Saint-Victor s'y installe vers le VIIIe siècle.
Au milieu du XIe siècle (1044), Geoffroy Martel comte de Vendôme s'empare du " castrum de Fréteval ". Faut-il y voir Saint-Victor ou un autre site fortifié proche (la Montpitière, la Sinellière, le Plessis-Hamelin) ? Le village descend dans la vallée lorsque Nivelon II de Meslay, seigneur de Fréteval, fait édifier sur les hauteurs le donjon circulaire (entre 1087 et 1096).

Le traité de Gisors signé en 1158 par Louis VII le Jeune et Henri II Plantagenêt, oblige Hamelin de Meslay à remettre son château au roi d'Angleterre. Ironie du sort, ce même Hamelin, en septembre ou octobre 1153, avait battu le roi anglais entre Vendôme et Fréteval. Henri II fortifie la place (construction de la seconde enceinte vers 1160) et y installe une garnison.

En 1187 le traité de Châteauroux contraint Henri II à céder Issoudun et Fréteval à Philippe Auguste. Nivelon IV, passé dans le camp anglais, obligera le roi de France à récupérer cette place par la force en juillet 1194. Après Fréteval, Philippe Auguste part faire le siège de Vendôme. Entre ces deux localités, il se fait surprendre par Richard Cœur de Lion. Il est mis en déroute et doit abandonner dans l'affaire ses précieuses archives.

A la fin du XIIIe siècle, le dernier seigneur de Fréteval, Guy d'Argenton, vend sa seigneurie à Hugues II, comte de Blois.

Pendant la guerre de Cent Ans, le château est mis en défense. Des travaux sont réalisés sur le donjon (documents datant de 1377 et 1418) et sur le pont-levis (1418). En mars de cette même année, le château est assiégé sans succès par les troupes anglaises. Onze ans plus tard (avant fin avril 1429) la forteresse est de nouveau attaquée. Le donjon est cette fois détruit par la sape et les bâtiments de la haute cour sont incendiés. Bien que ruiné, le site est encore quelques temps occupé, comme le prouve la découverte de monnaies datant des années 1435 à 1487. Ensuite, la forteresse désertée sert de carrière de pierres.

En 1968, des fouilles archéologiques sont entreprises : jusqu'en 1981 sur le donjon, puis jusqu'en 1988 sur la haute cour.