Este convento fue uno de los primeros que los franciscanos levantaron en esta comarca; procede del siglo XIII y tuvo en sus orígenes adosada una gran iglesia que fue reformada a instancias del Duque de Béjar en la segunda mitad del siglo XVI. Sus restos se conservan en la fachada sur y junto a la entrada al claustro

Lo mejor conservado es el claustro bajo y el alto de severa sencillez y de gran amplitud. Cada uno de los cuatro lados se compone de siete arcos, ligeramente peraltados en el claustro bajo y rebajados en el alto. Se sostienen en elegantes columnas dóricas de piedra granítica de una sola pieza y no escasean los escudos de la orden y los de los bienhechores del convento

El patio lo ocupan una fuente en su centro, y un magnolio en uno de sus ángulos. Actualmente las salas de este antiguo convento se utilizan como diversas dependencias municipales como el Dpto. de cultura, varias salas de exposiciones, la biblioteca municipal, aulas temáticas, recintos para conferencias y el museo legado de Valeriano Salas.