Le château, tel qu'il nous apparaît aujourd'hui, est composé de deux tours maîtresses quadrangulaires réunies par un logis établi sur deux niveaux. Ce premier ensemble est doublé sur son côté sud par les vestiges très lacunaires d'une enceinte à contreforts, flanquée d'une tourelle ruinée. Cette enceinte a été largement remaniée. Le pan de mur méridional présente toutefois une portion de maçonnerie bâtie en opus spicatum (appareillage des pierres sous la forme " d'arêtes de poisson "), témoin de la première phase de construction du château, au Xe ou au XIe siècle. Une autre structure résidentielle, rectangulaire et flanquée de deux tours semi-circulaires, est aménagée dans la basse-cour, dans le prolongement de l'actuel accès au site. Le château domine en hauteur l'église et le village médiéval de Brancion, dont il subsiste quelques traces des fortifications : la porte à herse et assommoir ainsi que des tours à canonnières.

Outre les quelques traces d'opus spicatum, l'élément le plus ancien s'avère être la tour maîtresse de plan carré édifiée au XIIe siècle, à l'est, sur le point culminant de l'éperon. Elle est bâtie en petit appareil de moellons, renforcé aux angles par un chaînage de pierres de plus grandes dimensions. La tour maîtresse est conservée sur une hauteur de trois étages, qui étaient planchéiés, comme en témoignent les trous pratiqués dans la maçonnerie pour l'implantation des poutres. Un autre système de pose de plancher s'observe sur la face externe du mur ouest, pourvu d'une série de corbeaux lors de la construction du logis.

Le mur ouest est percé de deux portes (alignées verticalement) qui donnent sur le logis, au premier et second niveau. Celle du premier niveau, entourée sur tout son pourtour d'une césure bien visible, traduit clairement une reprise en sous œuvre. Deux autres baies sont aménagées : une archère (bouchée) dans le mur nord au premier niveau, et une baie carrée dans le mur est, au troisième.

Une tour à latrines, quadrangulaire et de plus petite dimension, est directement accolée au flanc nord de cette première tour-maîtresse et se trouve reliée au logis par deux portes percées dans son mur ouest, une à chaque niveau. Les ruptures observées au niveau des chaînes d'angles montrent que cette construction n'est pas solidaire et sans doute pas contemporaine de la tour primitive. Au premier niveau, des latrines sont aménagées contre le mur intérieur nord. Le mur oriental était pour sa part percé d'une archère qui fut remblayée. Le deuxième niveau, séparé du premier par une série de corbeaux en quart de cercle qui situe l'implantation des solives comporte lui aussi une archère, de même type que la précédente, sur son mur est : il s'agit d'une archère simple (l'ébrasement occupe toute l'épaisseur du mur dans lequel l'archère est aménagée) à allège (la fente ne commence pas au niveau du sol). A l'extérieur du mur nord, au deuxième niveau, trois consoles sont en saillie.

La deuxième tour-maîtresse également élevée en petit appareil de moellons, est datée de la fin du XIIIe siècle. De plan carré, elle est divisée en quatre niveaux, le premier étant totalement aveugle. L'entrée se fait au second niveau, au moyen du grand degré, par une porte couverte d'un linteau armorié sur coussinets. Deux fenêtres à croisée éclairent cet étage doté d'une cheminée. L'enduit peint des murs ainsi que la décoration de la cheminée renvoient sans doute à la réfection opérée au XIXe. Un escalier en bois, également dû aux restaurations, mène au troisième niveau, également planchéié, mais seulement percé d'une baie simple, couverte par un arc plein-cintre. L'accès à la terrasse (quatrième niveau) s'effectue par une sorte de tourelle d'escalier non saillante sur l'extérieur mais qui empiète légèrement sur le volume intérieur de la pièce. A découvrir, du haut de ce dernier étage, une vue imprenable sur la campagne environnante, sur le château (que l'on domine), et, malheureusement sur la guette néo-médiévale abritant l'escalier.

De grande dimension, le logis daté de la fin du XIVe siècle fait le lien entre les deux tours-maîtresses (ici aussi, les césures observées à la rencontre des murs du logis avec ceux des autres bâtiments traduit le décalage chronologique de la construction). Aménagé sur deux niveaux, il est aussi subdivisé dans sa longueur par un mur de refend orienté nord/sud qui distingue une partie ouest (spacieuse) d'une partie est, accolée à la tour primitive, et plus étroite.

On accède à la partie ouest (accolée à la tour maîtresse du XIIIe) par une porte percée dans le mur sud, sur la droite du grand degré, et dont le couvrement est assuré par un linteau droit décoré d'un tore (tout comme les piédroits). Deux autres accès sont pratiqués : un dans l'axe du premier mais sur le mur opposé (nord), et un deuxième percé dans le mur ouest, accolé au flanc de la tour.

Trois baies à coussièges éclairent ce premier niveau. L'une couverte par un arc brisé, percée sur le mur sud, à côté de l'entrée, donne sur le grand degré : elle comporte deux rangs successifs de claveaux, taillés dans des types de pierre différents, le rang extérieur (formant l'intrados de l'arc) étant, en plus, orné d'une moulure simple. Les deux autres fenêtres sont percées dans le mur opposé (nord) : plus étroites, elles sont hautes et fragmentées en deux compartiments (superposés) par une traverse. La cheminée du premier niveau est située entre ces deux baies : il ne reste que les piédroits du manteau et une partie du conduit d'évacuation. Deux niches rectangulaires, disposées de part et d'autre, lui sont associées.

Une corniche file sur la face interne des murs nord et sud du logis, juste au dessus des arcs de couvrement des fenêtres, ce qui permet de situer le niveau d'implantation du plancher (sur le mur ouest, une série de trous dans la maçonnerie implantés de manière rectiligne sont peut être à mettre en relation avec ce système d'ancrage).

L'aménagement d'un grand degré en façade pour permettre l'accès au deuxième niveau permet d'interpréter cette partie ouest comme étant la grande salle du château (l'aula), qui serait, selon Jean Mesqui, organisée sur les deux étages (noter cependant l'absence d'aménagements internes permettant la communication entre ces deux niveaux). Cette seconde pièce est éclairée par quatre fenêtres : une première percée dans le mur sud, haute, à faible ébrasement et fractionnée par une traverse. Une deuxième aménagée dans le mur ouest (accolée au flanc de la tour-maîtresse XIIIe), surmontée d'un linteau trilobé mais non ajouré. Les deux dernières fenêtres sont situées sur le mur nord, dans l'axe de celles du premier niveau. Elles sont décorées dans leur partie supérieure par un remplage gothique (désormais comblé par des pierres et du mortier) qui traduit une certaine ostentation que l'on ne retrouve pas dans les autres pièces. Elles ont un ébrasement assez large et sont, elles aussi, munies de coussièges. La cheminée est installée, cette fois, contre le mur sud et est flanquée de deux niches rectangulaires, ici aussi soulignées par une corniche.

La partie ouest du logis communique sur deux niveaux, avec la partie orientale. Pour ce faire, le mur de refend est percé, vers sa jonction avec le mur nord, de deux portes couvertes par un linteau simple. A noter, au deuxième étage, l'aménagement au niveau de cette jonction d'une tourelle d'escalier assise sur un contrefort. Etant donné son emplacement (au deuxième niveau et sans communication avec le rez-de-chaussée), cette tourelle desservait essentiellement le couronnement du logis.

Ce second espace du logis est donc composé de deux pièces, indépendantes l'une de l'autre mais communiquant avec la partie voisine à leur niveau respectif. On distingue sur la face est du mur de refend une série de corbeaux, pendants de ceux implantés sur la tour maîtresse originelle. Les deux pièces superposées de cette partie du logis ont un plan grossièrement pentagonal. Le mur oriental forme un angle obtus puisqu'il est composé de deux pans : l'un appartenant au logis et l'autre à la tour maîtresse. Le premier niveau est percé, au nord et au sud, par deux baies hautes fractionnées par une traverse (le même type que dans l'autre partie du logis) ; outre la porte aménagée dans le mur de refend, on trouve deux autres ouvertures : une donnant sur le donjon XIIe et une seconde desservant la tour à latrines accolée au mur est du logis et au flanc nord du donjon.

Au deuxième niveau, portes et fenêtres sont implantées à l'aplomb de celles du rez-de-chaussée, desservant donc selon une même organisation les différentes pièces attenantes.

Deux cheminées, une pour chaque niveau, sont implantées contre le mur de refend : la première, au rez-de-chaussée, est toujours visible, et l'on devine l'emprise de la seconde grâce aux traces, notamment de son manteau, qu'elle a laissées. Il est intéressant de noter au passage la superposition des conduits en raison de l'étagement des deux cheminées : l'un (au rez-de-chaussée) est pris dans l'épaisseur du mur, l'autre (étage) venait s'appuyer contre. On retrouve encore, pour la cheminée de l'étage, les deux niches contiguës.

Dans la basse-cour située au sud-ouest de l'ensemble tour maîtresse - logis, les ducs de Bourgogne firent aménager, dans la seconde moitié du XIIIe, un second logis, flanqué de deux tours semi-circulaires percées d'archères à étrier. L'édifice fut remanié sous Philippe le Hardi (1336 - 1404).