Les origines du château remontent à l’époque romaine, période où les lieux étaient occupés par une colonie ibère appelée Turissa. Au Xe siècle, il passe entre les mains des Maures et fait l’objet de divisions et d’agrandissements. Le monument actuel, particulièrement bien conservé, est constitué de deux parties : une cité médiévale fortifiée aménagée à l’intérieur d’un mur d’enceinte, qui date du XIIe siècle, et un château construit au sommet d’une colline hérissé de hautes tours de défense.
La cité médiévale fortifiée construite à l’intérieur des remparts se trouve au centre de la vieille ville. Aujourd’hui, seul le mur d’enceinte datant du XIIe siècle est encore debout, celui-ci étant flanqué çà et là de plusieurs tours de défense et de tours de guet : tour de Santa Maria, tour de San Pedro et tour de San Jaime (qui abrite un petit musée). La partie la plus impressionnante reste sans nul doute celle de Puig del Castell, située au sommet d’une colline, où sont conservés les vestiges d’une tour du XIe siècle construite par les Maures pour défendre leur citadelle.