El edificio fue sede de la antigua Aduana, construido por el ingeniero Juan Caballero entre 1770 y 1784, a instancias de Carlos III, dentro de un programa de reforma de las murallas y construcción de tres importantes edificios como eran la Aduana, la Casa de Contratación y el Consulado.

El único edificio que se llegó a construir fue la Aduana y ha tenido varios usos oficiales, el actual como Palacio de la Diputación Provincial. De planta rectangular, con dos patios porticados y dos entradas en sus lados menores. Dos plantas y cubierta en azotea acentúan la horizontalidad del edificio.