Le château médiéval, connu aujourd'hui uniquement par des écrits, avait des dimensions comparables à l'édifice actuel. Son donjon se situait à l'emplacement de l'actuel pavillon central et était complété par plusieurs autres tours (tour de la Palme, du Maur, Longue, des Prisons…).

Le château visible de nous jours se déploie en U autour d'une cour d'honneur ouverte sur le front sud. On y pénètre par sa face occidentale qui garde une allure fortement défensive (châtelet d'entrée crénelé à portes charretière et piétonnière, pont-levis, canonnières à la française).

Le corps de logis, occupant tout le côté nord de l'ancien château, est encadré sur la cour d'honneur par deux pavillons abritant les escaliers (à l'est, l'escalier d'honneur, à l'ouest celui conduisant aux appartements) et sur sa façade arrière par deux forts pavillons étendant la surface des appartements.

Au centre du corps de logis, la grande salle seigneuriale, éclairée par trois grandes fenêtres à double croisillons, est construite sur une chapelle qui a conservé son emplacement médiéval. Des salles souterraines (cuisines, celliers, caves, buanderies, fournils…) permettent à l'édifice d'être de plain-pied avec la cour d'honneur.

Sur cette cour, toutes les constructions sont unifiées par une galerie basse, alternant des arcades cintrées en anse de panier avec d'étroites baies rectangulaires.
L'aile orientale, symétrique à l'actuelle aile d'entrée, possède un deuxième accès (aujourd'hui inutilisable) tourné vers le village.

Une chapelle, aménagée au XVIIIe siècle dans la tour symétrique à la tour de Bretagne, remplace celle située sous la grande salle.