El Palacio Ducal fue edificado por orden de los Zuñigas sobre el antiguo castillo medieval cuando corría el siglo XVI.

Del palacio permanece la fachada principal jalonada, a uno y otro lado, por sendos cubos, uno redondo y el otro poligonal. Ambos, en lo más alto, están guarnecidos con azulejos blancos y azules, cornisas y escudos. En esta fachada hoy en día se puede ver una placa conmemorativa de la dedicatoria que Cervantes hace al Duque de Béjar en la obra más emblemática de la literatura española «El Quijote». También nos queda la fachada de mediodía, que ofrece varias ventanas bien trazadas, con iguales escudos. Hay, sobre un dintel, una inscripción en letras romanas muy difícil de leer, aunque según se cree tales leyendas son las que reproduce Ventura Lirios en su famoso cuadro.

Por dentro, es digno de verse el patio renacentista, con galerías de arcos y columnas semijónicas en dos alas y en ambos pisos, sobre cuyas enjutas alternan los escudos, algunos con las iniciales F y G, que corresponden a don Francisco de Zúñiga y doña Guiomar de Mendoza. En uno de los lienzos se desarrolla la escalera, que recibe entrada y luz desde el patio por una serie de arcos rampantes, muy aplanados, que se sostienen sobre columnitas jónicas muy bellas y sus pedestales.

El último frente del patio es una pared llana en la que campean enormes escudos de los Zúñiga y Sotomayor y, abajo, tiene una bellísima fuente con taza poligonal y una robusta venera por cubierta. Está decorada por medias columnas corintias, entablamento y remate de talla; los carteles ostentan las iniciales coronadas D.F.M y el año que en el friso, se señala de esta forma: A.D.M.Q.S.N (1569)

El Palacio Ducal fue catalogado como Bien de interés Cultural con la categoría de un gran monumento en el año 1931.