Foto: © José Mª. Collantes González

Se construyó sobre el lugar que ocupó el castillo de las siete torres, y ha sido residencia ordinaria de los Duques desde el siglo XVI. El edificio actual reune diferentes estilos como resultado de las sucesivas ampliaciones y reformas realizadas en él a lo largo de varios siglos. En su interior se guardan importantes obras de arte y, sobre todo el archivo familiar, de excepcional valor histórico.

La fachada principal (1588) es de gran sobriedad, con dos alas laterales que configuran una especie de patio abierto, separado de la calle por una verja. Destaca la llamada "Reja de la Porfía" (s. XV), traída desde el palacio ducal de Sevilla. Desde 1978 está declarado Monumento Histórico-Artístico.