Après sa défaite à Saint-Martin-le-Beau (Indre-et-Loire) contre le comte d'Anjou Geoffroi Martel en 1044, le comte de Blois Thibaut III se voit contraint de céder la Touraine, dont fait partie la seigneurie d'Azay, à son vainqueur. Un château existe à Azay-le-Rideau vers la fin du XIe siècle ou au début du XIIe. Un nommé Ridel d'Azay est attesté en 1118. Le premier édifice connaît sans doute de nombreux aménagements durant la période médiévale, mais est rasé de fond en comble par le dauphin Charles (futur Charles VII) en 1418. La garnison bourguignonne qui l'a insulté - elle aurait mis en doute la validité de ses origines royales - est passée au fil de l'épée (350 hommes). La ville est aussitôt dévastée. Le site conservera jusqu'au cœur du XVIIIe siècle le nom d'Azay-le-Brûlé.

Le maître de la chambre des comptes des rois Charles VIII (1483-1498) et Louis XII (1498-1515), un bourgeois nommé Martin Berthelot, fait l'acquisition de la seigneurie à la fin du XVe siècle. Son fils, Gilles Berthelot, en hérite à sa mort dans les premiers mois de 1515. Maire de Tours et trésorier des finances royales, Gilles est autorisé par lettre patente du 4 avril 1515 à rétablir les " fortifications d'Azay ". Dès 1518 les travaux débutent : pas question d'épais remparts cependant, mais plutôt d'une élégante demeure reprenant certains attributs de la fortification médiévale. Les mâchicoulis, les créneaux, les tours ou tourelles d'angles, les douves, les toitures en poivrière constituent autant de signes de puissance.

Mais cette richesse affichée de manière trop ostentatoire ne sied pas à tous. Berthelot n'est pas noble de naissance et la vieille aristocratie ne manque jamais une occasion d'abattre un parvenu de ce type. On accuse le financier de malversations, d'avoir puisé dans le trésor afin de s'enrichir (ce qui n'était d'ailleurs sans doute pas totalement faux). François Ier, piètre gestionnaire et monarque toujours impécunieux, prête une oreille attentive. Les rois de France n'aiment généralement guère que l'un de leurs serviteurs montrent une trop bonne fortune. Louis XIV procédera de même après une fête somptueuse donnée en son honneur par le surintendant Nicolas Fouquet à Vaux-le-Vicomte (1661). François doit par ailleurs trouver un ou plusieurs responsables pour expliquer sa banqueroute permanente. Pour se donner bonne conscience, il envoie Semblançay, son surintendant général des finances, danser la ballade des pendus au gibet de Montfaucon. Gilles Berthelot prend peur et s'échappe vers Cambrai, en 1528, abandonnant Azay inachevé. Il mourra en exil sur les terres de Charles Quint.

Le roi donne alors Azay à l'un de ses compagnons d'armes : Antoine Raffin. Ses descendants occupent les lieux jusqu'à la Révolution. Le château est acheté en 1791 par le marquis Charles de Biencourt. Le dernier rejeton de sa lignée, ruiné, vend en 1905 la propriété familiale à l'Etat.