Los orígenes del castillo se remontan a la época romana, cuando era un asentamiento ibérico llamado Turissa. En el siglo X, pasó a manos de los moros y fue objeto de particiones y ampliaciones. El monumento actual, muy bien conservado, consta de dos partes: una ciudad medieval fortificada dentro de un recinto amurallado, que data del siglo XII, y un castillo en la cima de una colina con altas torres defensivas.

La ciudad medieval fortificada dentro de un recinto amurallado se encuentra en el centro del casco antiguo. Hoy en día sólo queda en pie el inmenso recinto amurallado del siglo XII, salpicado de varias torres y atalayas: Torre de Santa María, Torre de San Pedro y Torre de San Jaime (que alberga un pequeño museo). El tramo más impresionante es, sin duda, el del Puig del Castell, situado en la cima de una colina donde se conservan restos de una torre del siglo XI construida por los moros como defensa de su ciudadela.