Sur une plate-forme rocheuse formant éperon et dominant la ville, le château se présente sous la forme approximative d'un rectangle (125 m x 55 m) épousant les formes du rocher. L'entrée -une porte charretière- se situe sur la courtine ouest (refaite vers 1869).

A l'angle sud-ouest de cette courtine s'élève la tour de la Reine; élément défensif le plus ancien encore visible (certains historiens datent sa construction de la fin du XIIe siècle). Donjon massif de 16 m de côté et de 37 m de haut, il se compose de trois niveaux. Les deux étages sont éclairés par une fenêtre à meneaux, le rez-de-chaussée par des archères à ébrasement simple. Sur sa face nord-est, la porte protégée par une grille rappelle la hauteur d'origine de la courtine (écrêtée en 1756) reliant la tour au logis Perrière.

Une fois pénétré dans la cour, se dressent à main gauche, en enfilade, les façades de trois logis : le logis Nemours (XVIe siècle), le Vieux Logis (XIVe siècle) et le logis Neuf (XVIe siècle).

Le logis Nemours est un élégant bâtiment avec échauguette d'angle en pierres blanches bien appareillées. Son style évoque assez nettement l'architecture Renaissance d'Ile-de-France. L'intérieur présente une série de salles éclairées par de grandes fenêtres à meneaux et agrémentées par des cheminées ouvragées. Des fresques bordent en bandeaux décoratifs la partie supérieure des murs du premier étage.

La partie essentielle du Vieux Logis est constituée au rez-de-chaussée par le Grand Pèle. Il s'agit d'une vaste salle garnie de 14 colonnes, autrefois chauffée par deux grands fourneaux en briques. C'est en 1430 que furent construits les piliers pour supporter le sol de la grande salle d'apparat (aula magna). De vastes proportions (25 m x 13 m), elle possède un plafond à caissons ouvragés de très belle facture. Cette salle accueillit Henri IV en octobre 1600 et Louis XIII en mai 1630. Une grande vis interne dessert les étages.

A l'ouest de ces deux salles, se trouvent la cuisine au rez-de-chaussée (on y accède par une vaste arcade) et à l'étage la résidence comtale (camera comitis). Les tours Saint-Pierre et Saint-Paul permettaient d'augmenter les capacités d'accueil résidentiel.

A l'angle sud-est de la cour se dresse l'ensemble résidentiel Perrière, constitué de sa tour carrée (12 m de côté), qui devait accueillir les chambres privées du prince, et le logis, divisé par un mur de refend créant deux espaces à chaque étage. Une grande vis placée dans l'angle sud-ouest en permet l'accès. A la charnière entre la tour et le logis, un autre escalier à vis dessert l'ensemble des étages de la tour. Aujourd'hui, cet ensemble accueille l'Observatoire Régional des Lacs Alpins.