El palacio del Marqués Mirabel se levanta sobre el solar de los Almaraz en los siglos XIII y XIV.

En el siglo XV pasa a los Zúñiga, a quienes el monarca Juan II concede la jurisdicción de Plasencia y su Tierra que les durará hasta el 1488 cuando pase de nuevo a la Corona.

El edificio actual proviene de las profundas reformas que con un lenguaje clásico «a lo romano” llevaron a cabo dos verdaderos hombres del Renacimiento: Fadrique de Zúñiga Sotomayor y Luis de Avila y Zúñiga, amigo personal de Carlos V y uno de los causantes de su venida a Yuste.

En esta recreación a la italiana debe contemplarse el magnífico patio y juego de escalera con la heráldica de los Zúñiga, Dávila, Manuel, Ayala, Guzmán y Sotomayor. Así como la colección de bustos y aras romanas que acompañaron al busto de Carlos V de Pompeyo Leoni en el jardín colgante o pensil.