Foto: © José Mª. Collantes González

Por Real Orden de 29 de Agosto de 1769 Carlos III lo convirtió en prisión militar, si bien por sus especiales condiciones no fue dedicada a presos comunes, sino a personas de condición superior o "mayor carácter". Continuó siendo prisión militar durante mucho tiempo, y en él estuvieron cautivos liberales y próceres independentistas americanos, entre ellos el mariscal mejicano José Mariano de Abasolo, en 1816. En el castillo se conservan aún, y pueden visitarse, las mazmorras que se utilizaron durante siglos.

Con el paso de los siglos se proyectaron algunos destinos para el Castillo, la mayoría de los cuales no se llevaron a efecto. Por ejemplo, en los archivos consta un proyecto del siglo XVIII en el que se preveía dar al castillo un mayor protagonismo militar haciendo de él la verdadera "ciudadela" de Cádiz, si bien al final se desestimó la obra.