En 1437, Lorenzo II Suárez de Figueroa, inició la construcción de un Alcázar en Zafra. Las obras, concluidas en 1443, dieron como fruto un edificio en el que se buscaba más que la fábrica de un baluarte, la consecución de una residencia señorial.

Su regularidad y precisión edificatoria concuerda con las construcciones palaciegas góticas del siglo XV, si bien en cuanto a la decoración responde al gusto mudéjar. Muy interesantes son las pinturas de la cámara de los esposos, situadas en la torre del Homenaje, así como los techos holladeros del salón principal de la planta baja.

En época del segundo conde de Feria se completó el edificio con las techumbres dispuestas en la sala Dorada y en la capilla. En torno a 1600, el viejo Alcázar medieval, obsoleto y limitado, fue sometido a una profunda remodelación.

Las reformas, encomendadas al Maestro Mayor de las obras ducales, Francisco de Montiel, consistieron en la construcción de un patio de mármol de líneas clasicistas, de dos nuevas alas con azoteas adosadas a ambos lados de la puerta principal y de otras tantas galerías abiertas a un nuevo jardín, que vendría a complementar a la vieja Huerta Honda como escenario de fiestas y juegos a imitación de la corte.

Entre los años 1605 y 1609, se construyó un pasadizo para unir el palacio a la vecina iglesia conventual de Santa Marina, que fue reedificada al tiempo, con la intención de que formase cuerpo con la residencia nobiliaria. La iglesia y el pasadizo fueron ejecutados por maestros alarifes madrileños y por canteros extremeños, que siguieron las directrices estéticas de Juana Dormer, primera duquesa de Feria. Completaba el conjunto un patio de armas (hoy convertido en plaza pública), al que se accedía por la puerta del Acebuche, acceso principal del palacio en la época.

En la actualidad se encuentra ubicado el Parador de Turismo de Zafra.