C'est au Ve siècle que le nom de Bois-Ruffin surgit dans les textes. Balthilde, épouse de Clovis II (635-657), fait don à l'abbaye Saint-Père de Chartres de nombreuses terres dans la région du Perche, dont celle de Bois-Ruffin.

Cinq siècles plus tard, dans une charte datée de 1113-1129, Ursion Ier de Meslay, seigneur de Fréteval, fait don à la même abbaye de " la seigneurie et de toute la terre qui est appelée Bois-Ruffin avec toute la forêt ". Cet acte précise en outre qu'une partie de cette terre a précédemment été donnée à l'abbaye de Thiron par Jérémie de Lisle (beau-père d'Ursion). Une charte contemporaine nous apprend également que Bois-Ruffin est sous la suzeraineté de Guillaume II Goët. On peut en conclure que les seigneurs de Bois-Ruffin étaient vassaux de la famille Goët.

C'est en 1191 que Nicolas de la Bruyère, proche des seigneurs du fief Goët, apparaît comme seigneur de Bois-Ruffin. C'est lui qui, entre 1150-1180, passe un accord avec l'abbaye de Thiron, et nous avons pour la première fois mention du site fortifié : " les haies et plessis de Bois-Ruffin ". C'est Nicolas III qui entreprend, entre 1240 et 1250, la construction du noyau fortifié maçonné que nous connaissons aujourd'hui.

Vers 1418, durant la guerre de Cent Ans, Bois-Ruffin tombe aux mains des anglo-bourguignons qui le transforment en prison. Les minutes des notaires du Dunois, relatant le paiement de rançons ou l'échange de prisonniers entre février 1420 et janvier 1421, en conservent le témoignage. En juin 1421, le maréchal de Boucicaut, à la tête d'une bande de routiers, en entreprend le siège. Au bout de huit jours, le 14 juin, Bois Ruffin se rend et redevient français.

C'est par mariage que Bois-Ruffin passe aux mains de la famille d'Avaugour en 1422, puis aux Beauxoncles-Montmorency en 1584. A cette époque, Henri de Navarre (le futur Henri IV) enlève aux ligueurs les places fortes de la région (Châteaudun, Bonneval, Fréteval…). Nous ne savons malheureusement pas quel sort fut réservé à Bois Ruffin.

Grâce à un devis réalisé pour des travaux de réfection, nous apprenons qu'en décembre 1684 le site est à l'abandon. Seuls les travaux de rénovation de la chapelle seront réalisés par Léon de Montmorency (1664-1750). A la révolution, Bois-Ruffin est confisqué, puis vendu le 14 août 1794 à charge pour le nouveau propriétaire de détruire la tour jugée " poste de défense pouvant servir aux ennemis de la chose publique ". Par chance, ce décret ne sera jamais appliqué et le donjon survivra à la tourmente révolutionnaire.