Un château existe à Colombiers dès le XIIe siècle. C'est à l'ombre de ces murailles que se déroule, le 4 juillet 1189, la dernière entrevue entre Henri II Plantagenêt et Philippe Auguste. L'accord conclu, souvent appelé traité d'Azay-le-Rideau, reconnaît au roi de France la suzeraineté sur l'Auvergne et la pleine propriété de plusieurs places clef du Berry, telles Issoudun et Graçay. Le vieux monarque anglo-angevin y apprend en outre de la bouche du Capétien la liste de ceux qui l'ont trahi, en tête de laquelle figurent les noms de ses propres fils. Henri meurt abandonné de tous deux jours plus tard à Chinon.

En 1532, Jean le Breton, ministre de François Ier et ancien ambassadeur de la couronne à Rome, fait détruire l'essentiel de la forteresse médiévale, afin de la remplacer par un palais plus conforme à l'esprit de son temps. Jean est un habitué des grands chantiers, puisqu'il a, pour le compte de son maître, longtemps supervisé les travaux de Chambord. L'essentiel de l'ouvrage est sans doute achevé dès 1536.

Le château, déjà réputé pour la splendeur de ses jardins, reste entre les mains du même lignage jusqu'en 1754. A cette date, le marquis de Castellane en fait l'acquisition. Il réaménage les logis dans le goût du XVIIIe siècle et dote le parc de bâtiments classiques. Les jardins sont totalement bouleversés au cours du XIXe siècle.

1906 constitue une date essentielle dans la longue existence de Villandry. Le médecin espagnol Joachim Carvallo en réalise l'acquisition et emploie sans compter son temps et sa fortune, afin de redonner au site son lustre d'antan. Les jardins sont ainsi intégralement restitués dans l'esprit Renaissance. Les propriétaires actuels descendent du docteur Carvallo.