C’est le « Marca Hispanica » (publié en 1682) qui nous informe de la première fortification de Collioure. Dans cet ouvrage, nous apprenons que Wamba, roi wisigoth d’Espagne, s’empare du château en 673. Deux siècles plus tard (981), Lothaire, roi des Francs, ordonne à Guiffred, comte du Roussillon, de fortifier de nouveau la place.

En 1207, Pierre II, comte de Barcelone et roi d’Aragon autorise les chevaliers du Temple à bâtir un domus entre le castellum royal et le port.

En 1276, Jacques II hérite du comté du Roussillon (dont Collioure) ainsi que d’autres terres espagnoles. Son frère, Pierre III, en désaccord avec cet héritage (lui n’a récupéré que l’Aragon, la Catalogne et Valence) attaque sans succès la place en 1285. Son successeur, Pierre IV, entre en Roussillon mi mai 1344 et s’empare enfin de Collioure le 26 juin. Il renforce la défense du front nord par l’édification d’une enceinte et d’un fossé. Celle-ci est bâtie sur l’ancien domus des Templiers dont seule la grande salle est conservée (aujourd’hui dénommée la chapelle). Sur le front sud, il consolide les fondations de la salle de la reine et la dote de voûtes. L’ensemble de ces travaux est achevé en juillet 1347 (date d’un ordre de paiement de fin de travaux).

Au début du XVIe siècle (entre 1503 et 1510), Ferdinand II le Catholique crée la place d’armes qu’il entoure d’une enceinte à l’ouest et au nord. A la pointe du promontoire, un bastion, surveillant le port, est bâti. Philippe II (fils de Charles Quint) fait édifier les bastions nord et sud et sans doute l’enceinte parallèle au port.
Bien que fortifiée, la place tombe rapidement aux mains des français en avril 1642. Le capitaine de Saint Hillaire fait renforcer une nouvelle fois les défenses (demi-lune triangulaire, fossé et glacis à l’ouest et bastion et porte au nord) malgré la désapprobation de Vauban qui préfère Port-Vendres à Collioure (rapport de 1674).

Pendant la Révolution, la guerre franco-espagnole reprend de plus belle. La place capitule en décembre 1793, sous les coups de canons espagnols. Six mois plus tard, de violents combats permettent aux français de reprendre celle-ci. Vers 1820, le château est « remis en état » mais une grande partie disparaît car « inutile » ! En 1922, Collioure est rayé du tableau des places de guerre françaises.