Le " Castrum Soliacense " est pour la première fois mentionné en 1102. Il défendait sur la rive gauche de la Loire la tête d'un pont en pierre sans doute édifié à l'époque romaine. Il appartenait alors à un nommé Gilon, seigneur de Sully, des Aix et de la Chapelle-en-Berry. La chapelle castrale fut semble-t-il rapidement desservie par un collège de chanoines et obtint donc le statut de collégiale.

A la faveur d'un conflit entre le seigneur Henri de Sully et l'évêque Manassès d'Orléans, le château passa avant 1218 entre les mains de Philippe Auguste. Conformément à ses habitudes, le Capétien fit construire dans la place l'une de ces grosses tours cylindriques dont ses ingénieurs avaient le secret (Gisors - Tour du Prisonnier -, Falaise - Tour Talbot -, Lillebonne, Rouen - Le Donjon -, Issoudun - Tour Blanche -, Vernon - Tour des Archives - et Dourdan). Il avait coutume d'affirmer ainsi son autorité. Mais dans un acte de mars 1218, Henri de Sully se déclarait prêt à rembourser au roi les frais engagés dans la construction du bâtiment. Cette mention laisse supposer que le souverain avait dû avant cette date - sans doute de mauvais gré - restituer la forteresse à son légitime propriétaire. En juin 1218, l'évêque Manassès d'Orléans, suzerain des sires de Sully, reconnut toutefois dans une charte que lui et ses successeurs seraient tenus de rendre à Philippe Auguste la nouvelle tour que le roi avait fait élever à Sully, si celui-ci en effectuait la demande. Les vestiges de cet ouvrage aujourd'hui disparu furent mis à jour pendant les années 90. Il se situait dans l'actuelle basse-cour.

Une importante crue de la Loire emporta le vieux pont romain en 1363, mais Sully ne perdit pas pour autant son importance stratégique. La lignée des sires de Sully s'éteignit à la fin du XIVe siècle et son unique héritière, Marie, épousa Gui de La Trémoille en 1382. Ce dernier entreprit de rénover totalement le château et demanda au fameux architecte Raymond du Temple, notamment employé par le roi Charles V pour modifier le Louvre, de dresser les plans nécessaires. Jeanne d'Arc séjourna à Sully à deux reprises. En juin 1429 d'abord, après la victoire de Patay (18 juin), elle y vint afin de tenter de convaincre Charles VII d'aller se faire sacrer à Reims. En mars 1430 ensuite, elle y fut quasiment emprisonnée par Georges de La Trémoille. La Pucelle parvint à s'échapper le 28 mars pour se précipiter vers son sinistre destin rouennais.

La place souffrit beaucoup des sanglantes Guerres de Religions. Elle changea de mains à deux reprises au cours de l'année 1563 et la chapelle castrale fut détruite. En 1602, Claude de la Trémoille la vendit à Maximilien de Béthune, célèbre conseillé du roi Henri IV immortalisé sous le nom de " Grand Sully ". Le monarque érigea la seigneurie en paierie et duché au début de l'année 1606. Le nouveau duc de Sully effectua de très nombreux aménagements. Le château restera dans la famille des Sully-Béthune jusqu'en 1807 avant de passer à une lointaine branche collatérale qui le conservera jusqu'en 1962. Plusieurs tours et courtines furent démantelées à la Révolution et un gigantesque incendie dévasta l'aile orientale dans la nuit du 10 au 11 janvier 1918. Classé Monument Historique en 1928 et acquis par le Conseil Général du Loiret en 1962, le château fait depuis lors l'objet de multiples campagnes de restauration.