Existieron dos recintos amurallados sucesivos de origen medieval. El primero de ellos largo y estrecho construido a base de mampostería de granito, con escasas torres, cuadradas y redondas, en algunos ángulos y protegiendo las puertas. De ello se conserva bastante bien toda la parte occidental, con la Puerta del Pico a su extremo, que se reduce a un arco agudo de sillería y cubo pequeño a su izquierda; a lo largo de la banda meridional, queda otra puerta: la de San Pedro o San Antón, entrada muy usual en el medievo. Hubo otra hasta fecha reciente, la de la Traición que fue indebidamente derribada para dar paso a la carretera de circunvalación.

Este primer tramo acaba en la fortaleza o alcazaba que, después se transformó en castillo, de él quedan restos en la parte posterior del actual Palacio.

Repoblada la villa por Alfonso VIII, en los finales del siglo XII, y alejado el peligro de la guerra hacia el sur, ordenó la ampliación de dichas defensas y dotó a la ciudad de una nueva cerca que, partiendo de la anterior, seguía un trazado similar, esto es, largo y estrecho, que cerraba en la llamada Puerta de la Villa (hoy de Ávila), la cual persistió hasta los años finales del siglo XIX y de la que se conservan fotografías. En ellas se observa la transformación o restauración de la puerta en el siglo XVI, ya en el periodo de señorío de los Zúñigas.

La muralla más moderna se fue destruyendo con el paso de los años para la construcción de viviendas o vías de circunvalación. Escondidos en algunas casas o jardines, han aparecido y se conservan mermados restos.