Els orígens del castell es remunten a l’època romana, quan era un assentament ibèric anomenat Turissa. Al segle X, va passar a mans dels àrabs i va ser objecte de particions i ampliacions. El monument actual, molt ben conservat, consta de dues parts: una ciutat medieval fortificada dins d’un recinte emmurallat, que data del segle XII, i un castell al cim d’un turó amb altes torres defensives.

La ciutat medieval fortificada dins d’un recinte emmurallat és al centre del nucli antic. Actualment només queda dret l’immens recinte emmurallat del segle XII, esquitxat de diverses torres i talaies: la torre de Santa Maria, la torre de Sant Pere i la torre de Sant Jaume (que alberga un petit museu). El tram més impressionant és, sense cap mena de dubte, el del puig del Castell, situat al cim d’un turó on es conserven les restes d’una torre del segle XI que van construir els àrabs com a defensa de la ciutadella.