détail et adaptation du plan de 1535
d'après un plan du Castillet. (Archives de la Commission des Monuments Historiques, tome 2 Languedoc-Roussillon, 1982)
Construit en 1368 dans l'enceinte du XIIIe-XIVe s. sous le roi Pierre IV d'Aragon, le Castillet était à l'origine, une massive porte médiévale munie d'un pont-levis et flanquée de deux tours à éperons en briques : l'ancienne porte Notre-Dame.
Un siècle plus tard, l'occupation du Roussillon par Louis XI fut l'occasion de multiples aménagements. Les Perpignanais, habitués à une certaine liberté sous les rois d'Aragon, supportaient très difficilement le joug centralisateur du roi de France. Ce dernier entreprit alors de grandes transformations de telle sorte que les fortifications de la place fussent "dirigées autant ou plus contre la ville que contre un ennemi tenant la campagne" (JAB). Ainsi, à partir de 1478, il ferma complètement la porte Notre-Dame et transforma l'ensemble en "Castellet", (petit château, par opposition au "castell major", la citadelle). La réalisation d'un boulevard polygonal vint barrer la porte du côté de la campagne (boulevard). Du côté de la place il n'est pas impossible qu'il ait entrepris également une construction. Un plan de 1535 nous montre la porte ainsi retranchée des deux côtés. Datent aussi de cette époque, la tourelle hexagonale qui surgit de la terrasse et les larges fenêtres à meneaux de pierre ouvrant sur la campagne. Dans ces conditions, la nécessité d'ouvrir une nouvelle porte Notre-Dame se fit sentir : elle fut construite en 1483 contre le Castillet, à l'est où elle bénéficiait du flanquement du nouveau boulevard. Les portes ouest et est qui donnaient sur le chemin de ronde de la muraille furent dotées de pont-levis pour compléter le retranchement du château.
Une décennie plus tard, le Roussillon passait sous domination espagnole. La place forte fut assiégée par les troupes françaises en 1542 et les ingénieurs de Charles Quint renforcèrent dans l'urgence les défenses du Castillet : un épais bastion capable de résister plus efficacement à l'artillerie de l'époque vint envelopper complètement le boulevard de Louis XI.
Enfin, après le rattachement de la province à la France de 1659, le bastion fut considérablement étendu par Vauban sur le côté droit par un demi-bastion afin d'améliorer le flanquement de la vieille courtine médiévale entre le Castillet et le bastion Saint Jean. A la fin du XVIIe s., le vieux Castillet, celui de 1368, qui avait perdu depuis longtemps son statut de porte de ville et qui n'avait plus aucune valeur défensive fut transformé en prison.
Pendant les deux siècles suivants cet ensemble ne sera modifié que par des transformations mineures. On peut voir, par exemple, sur certains plans du XIXe s., apparaitre une barbacane en forme de redan qui vient couvrir la porte Notre-Dame.
