Tras el traslado del convento de Santiago del Robledo a la ciudad, comienza a construirse, en 1530, este edificio religioso perteneciente a la Orden de las Freylas o Comendadoras de Santiago. Adosado a la Basílica de Santa Eulalia, que sufrió algunas reformas para acoger la nueva construcción, el monasterio se hizo en varias fases no respondiendo a un plan previo por lo que carece de unidad de estilo. Las diferentes dependencias se articulan en torno a un patio con doble galería porticada. En las galerías superiores se pueden admirar las huellas que las formas de construcción mudéjares dejaron en la capital.

En la primera mitad del siglo XVII se levanta el mirador ornamentado con decoración barroca. En el siglo XIX, el edificio pasó a ser propiedad particular siendo, recientemente, adquirido por el Ayuntamiento de la ciudad para su restauración.