El Obispado de Plasencia fue erigido el 13 de marzo de 1188 por el Papa Clemente III, y al año siguiente lo confirmó con la jurisdicción de Plasencia sobre Trujillo, Medellín, Monfragüe y Santa Cruz.

Honorio III, en el año 1236 confirma la adquisición de la villa de Béjar y su distrito al obispado de Plasencia y subordina este, a su vez, al arzobispo metropolitano con sede en Santiago de Compostela, pasando luego de 1851 a depender del de Toledo.

No obstante, este edificio ya se contempla en el plano de Plasencia del año 1400, según muestra en una copia realizada en 1750 por un autor anónimo del Servicio Geográfico del Ejército.

Según podemos leer en las armas de los escudos que adornan los distintos ámbitos del palacio, el obispo don Gutiérrez de Toledo (de 1498 a 1506) eleva o remata una reforma de este edificio, colocando sus emblemas sobre las dos ventanas de la derecha del piso alto, a ambos lados de la portada principal.

La reforma comenzada continúa bajo el pontificado de don Gutiérrez de Vargas Carvajal (de 1523 a 1559), quien deja sus armas en el dintel de la tercera ventana de la planta superior, en todas las de la planta baja, sobre la portada principal y en el callejón del Obispo y en otros ámbitos del palacio.

Las pilastras que conforman los flancos de la portada principal y los relieves del dintel que acompañan al blasón de don Gutiérrez de Vargas Carvajal parecen de diferentes épocas, causa que ha de buscarse buscar en la circunstancia de que fuera don Gutiérrez de Toledo el que edificara esta puerta cincuenta años antes.

La fachada es de matiz marcadamente renacentista en sus vanos y, sobre todo, en la decoración que se ofrece sobre el dintel de la portada principal. Sobre el frontis de la puerta, de granito, entre dos acroteras o candelabros, bajo una concha y flanqueado de medallones, grutescos, etc., se ofrece, como motivo central, una cartela de granito timbrada de capelo y borlas (nueve a cada lado), con las armas del obispo constructor, Vargas Carvajal.

El claustro, columnado en tres bandas, de dos plantas, sostenido por una serie de arcos renacentistas, hoy cegados, muestra en su parte alta una gama de balcones de recia forja. Una fuente, con su columna central blasonada, y toda una larga serie de escudos de diversos prelados, que hacen un libro abierto en la cronología episcopal placentina.