L'existence de Sedan est attestée dès la fin du Xe siècle dans une charte de l'empereur germanique Othon III (997). Un prieuré et sans doute une entité villageoise se développent sur le site de l'actuel château. Ils subsistent encore au XVe siècle. Évrard de la Marck, riche seigneur ardennais, en réalise l'acquisition en 1424 et commence aussitôt à y bâtir une redoutable forteresse. Il s'agit du noyau primitif de forme triangulaire. Ses descendants poursuivent son œuvre jusqu'à l'extinction de la lignée masculine, en 1588. L'unique héritière, Charlotte de La Marck, épouse alors Henri de la Tour d'Auvergne (1594), duc de Bouillon, et la principauté de Sedan passe dans le patrimoine de cette célèbre famille. Elle le demeure jusqu'au 29 septembre 1642, date à laquelle Frédéric-Maurice de la Tour d'Auvergne la cède contraint et forcé au roi Louis XIII. Vauban y effectue de très nombreux travaux. Le château servira de caserne jusqu'au cœur du XXe siècle. Pendant la première occupation des Ardennes (1914-1918), il est utilisé comme prison par les Allemands.

Le nom de Sedan résonne encore terriblement dans la mémoire nationale. Situé à l'extrémité d'un couloir d'invasion, véritable point de confrontation permanent entre les intérêts germaniques et français, le château fort et la ville ont vu défiler bien des armées hostiles durant leur longue existence. La place est assiégée par les impériaux dès 1495, puis de nouveau en 1521. C'est également là que choisissent de passer les troupes prussiennes et allemandes en 1870 et en 1940. L'histoire se répète souvent, pour le plus grand malheur des peuples…

La forteresse médiévale est composée d'une très vaste enceinte polygonale divisée en deux parties inégales. Elle est cernée par quatre bastions disposés en étoile et reliés par d'imposantes courtines, construits pour l'essentiel dans la seconde moitié du XVIe siècle.

On trouve dans l'angle sud-est l'emplacement du château primitif s'articulant autour de l'église d'un ancien prieuré, devenu après 1430 chapelle castrale. Les vestiges de l'édifice religieux apparaissent encore dans la cour intérieure. Des remparts élevés flanqués de plusieurs tours cylindriques délimitaient une haute cour triangulaire. L'entrée s'effectuait au sud grâce à une porte protégée par deux tours rondes appelées tours jumelles. Ce châtelet fut précédé d'un boulevard d'artillerie circulaire dans la seconde moitié du XVe siècle. A l'angle oriental trône une belle tour à canon (Tour de l'Est) et à l'ouest une fine tour étonnamment corsetée dans un cylindre de diamètre supérieur. Les deux murailles sont séparées par des galeries voûtées sur plusieurs niveaux. On renforça sans doute vers la même époque les courtines ouest et sud.

Les années 1450-1500 virent également une augmentation considérable de la surface occupée. Au nord s'ouvrit une imposante basse-cour, elle-aussi flanquée de plusieurs tours cylindriques. C'est peut-être à cette époque que l'on ferma l'entrée primitive entre les deux tours jumelles, pour la déplacer à l'extrémité nord du nouveau périmètre. De gros logis seigneuriaux apparurent dans l'enceinte.

L'ensemble connut de très importants bouleversements pendant les siècles qui suivirent, fruits d'une adaptation constante à l'évolution de l'artillerie rendue nécessaire par l'intérêt stratégique du site. Les couches de défense se superposèrent les unes aux autres. Quatre gros bastions caractéristiques de l'architecture militaire de la seconde moitié du XVIe siècle, furent notamment élevés aux angles de la place. Conçus pour résister à la canonnade, ils dessinent des arêtes tranchantes et opposent leur masse de maçonnerie renforcée de terre aux boulets ennemis. L'armée ne se sépara du lieu qu'en 1962.

La citadelle dominait une enceinte urbaine aujourd'hui disparue, des XVIe et XVIIe siècle. Par ailleurs, une résidence plus confortable appelée " château bas ", fut construite au pied du bastion de l'angle sud-ouest au XVIIe siècle, par les La Tour d'Auvergne.
.