A la izquierda, cerca del peñón, se observa la línea defensiva en cuyos extremos se hallaban los fuertes

Sus orígenes se encuentran en la pérdida de Gibraltar en 1704. En ese año, Felipe V ordenaba que se pusiera sitio a dicha plaza para rendir a los ingleses que la habían ocupado sin estar en guerra con España. Se levanta el asedio al fracasar el primer intento de recuperar la plaza. Para la vigilancia del istmo se establece una guarnición permanente en esta zona y crea el Gobierno Militar del Campo de Gibraltar.

En 1713 se firma el Tratado de Utrecht, por el que España cede Gibraltar a Inglaterra. Los ingleses inician una política de expansionismo fuera de los límites de la fortaleza, y hay que recurrir a la construcción en 1730 de una plaza fuerte, la Línea de Gibraltar, constituida por diversas fortificaciones y que cierran toda comunicación con Gibraltar. En 1731 se inicia la construcción de los dos grandes fuertes; Santa Bárbara en la playa de levante y San Felipe en la playa de poniente.

Para completar el cierre se unen estos fuertes con un línea de muralla, y para mayor defensa se disponen equidistantes por toda la cortina de muralla, pequeños baluartes con sus respectivos cuerpos de guardia.

A principios del siglo XIX, debido a la invasión de las tropas napoleónicas, España firma una alianza de mutua defensa con Inglaterra, a fin de combatir a los franceses. Los ingleses aprovechan para destruir las fortificaciones de La Línea de Gibraltar, con el pretexto de que esta fortaleza podría caer en poder de los franceses. Son voladas el 14 de febrero de 1810.