Il provient de la seconde muraille d'enceinte, construite au cours de la dernière décennie du XIIIe siècle, après l'incendie de 1285 qui détruisit la quasi totalité de la cité. Sur cette deuxième muraille, le Portail du Comte était la principale porte d'entrée à Peralada et ouvrait le chemin qui menait à Castelló d’Empúries. C'est ici que se trouvait le corps de garde qui contrôlait l'accès à la cité et encaissait les péages pour y entrer les marchandises.
On conserve également de cette deuxième muraille d'enceinte une tour ronde située actuellement dans l'enceinte du Couvent du Carme.