Todo hace suponer que su construcción fue contemporánea a la repoblación de Fernando II en el siglo XII.

En el año 1202 el rey Alfonso IX celebró en él Cortes. Posteriormente, durante el periodo en que la ciudad estuvo bajo el señorío de los Pimentel, el castillo se convirtió en la residencia de los condes y sufrió diversas reformas hasta que a principios del siglo XIX las tropas francesas lo destruyeron e incendiaron.

Tras diversos avatares pasó a formar parte del Parador Nacional de Turismo que en la actualidad lo alberga. No obstante la Torre del Caracol, nombre con el que se conoce, sólo es una pequeña parte de todo el conjunto fortificado, compuesto por tres recintos amurallados que en sus épocas de esplendor se podía admirar.

La Torre del Caracol (se dice que fue la armería del castillo), obra del siglo XVI, es un bello edificio de 17 metros de cuadrado, cuyo estilo artístico es una mezcla de gótico y renacentista. En su fachada sur de pueden ver algunos escudos de casa de los Pimentel. El conjunto se encuentra en la actualidad cubierto con un magnífico artesonado morisco.

En la actualidad es el Parador Nacional de Turismo de esta localidad.