El Palacio de Congresos ocupa el edificio que fue la antigua Fábrica de Tabacos, creada en 1741, y que se estableció en 1747 en la calle Plocia, en el lugar que ocupaba la alhóndiga municipal.

Esa primitiva fábrica se cerró en 1870 por orden del Ministro de Hacienda. El Ayuntamiento de Cádiz ante la reacción popular reabrió el edificio a su costa y en 1872 comenzaron obras de reforma en el edificio. En 1887 se ejecutaron las más importantes, las que dieron el aspecto que tiene actualmente y que cambiaron todo el antiguo edificio excepto la zona de bóvedas. El proyecto se debe a Federico Gil de los Reyes y el resultado fue una fábrica moderna, la mejor de su tiempo, con capacidad para más de dos mil trabajadoras.