Le XIe siècle :

L'élément le plus ancien du site semble être la chapelle Saint-Pierre, qui occupe l'extrémité sud du promontoire.

L'édification de ce lieu de culte remonterait au XIe siècle. L'édifice est constitué d'une nef unique, barrée par un transept peu important, l'extrémité ouest étant close par une abside semi-circulaire. Le site était alors doté d'une motte, partiellement conservée au nord de la chapelle, sur laquelle devait s'élever une tour.

Le XIIe siècle :

Le palais roman est installé sur le flanc sud-ouest de ladite motte, l'essentiel étant construit sur une plate-forme aménagée aux dépens d'un ancien fossé. Cette implantation situe la façade principale face à la ville qui se développe en contrebas.

Le palais présente dans un premier temps un plan en L : l'avant-corps accueille un grand escalier monumental abrité sous une arche très haut-placée ; sous l'escalier, une large porte donne accès à la partie rectangulaire du bâtiment qui comporte, au premier niveau, une grande pièce de stockage. Le second niveau (accessible par l'escalier monumental) est une vaste salle peu éclairée (les fenêtres à meneaux datent au moins du XIVe siècle et ont dû remplacer de petites ouvertures). Dans l'angle nord-est de cette pièce, un escalier en vis dessert le dernier niveau du bâtiment. Dans le mur nord fut aménagé un grand placard double ; dans l'angle nord-ouest, quelques marches donnent accès à une petite pièce située au-dessus de l'escalier monumental, dans l'avant-corps. Cette " loggia " et la pièce attenante sont ajourées par 5 et 4 fenêtres. Ces ouvertures, flanquées chacune de colonnettes et/ou pilastres surmontées de chapiteaux décorés ou historiés, constituent une claire-voie sans équivalent dans la région. Ces deux étages supérieurs sont très probablement des aulae, des Grandes Salles d'apparat, dans lesquelles le seigneur reçoit, paraît, festoie, rend la justice…

Peu de temps après l'édification de ce palais, un petit bâtiment de service est rajouté dans l'angle sud-est ; le premier niveau est aveugle, le second doté d'une cheminée d'angle semi-circulaire et le troisième de latrines.

Le XIIIe siècle :

De nouveaux changements interviennent au XIIIe siècle, lorsque les deux fils du premier Giraud Adhémar se partagent le site. Giraud garde le château de son père mais le clôt derrière une enceinte, flanquée au nord-est d'une tour-maîtresse. Imposante, cette dernière comporte plusieurs niveaux planchéiés dédiés à la résidence et desservis par une tourelle d'escalier en vis hors-œuvre. La charte de libertés accordée aux Montiliens par les Adhémar est conservée au premier niveau de cette tour. Plusieurs bâtiments sont élevés en avant du grand logis roman, mais les quelques traces qui subsistent au sol sont très ténues.

En tant que coseigneur du site (dans le sud de la France, le domaine familial et ses possessions étaient couramment partagées entre les héritiers, à l'inverse du nord où - généralement - seul l'aîné succédait au père), Lambert fait ériger son château sur le promontoire qui surplombe la ville ; il n'en reste que la tour de Narbonne, dotée de niveaux planchéiés et couverte, en son sommet, d'une voûte en berceau.

L'époque moderne :

A l'époque moderne, le site est copieusement fortifié pour s'adapter à l'usage du canon. L'ensemble du promontoire est alors réorganisé et pourvu d'imposants bastions. Le logis du XIIe siècle est rapidement aménagé en prison, fonction qu'il conserve jusqu'au début du XXe siècle.