Foto: © José Mª. Collantes González Ntro. Padre y Señor de las Penas

Al principio de la fundación de la Hermandad, 1712, sus hermanos acompañaban la procesión del Corpus Christi con una imagen de San Blas como su patrono. Unos años más tarde hacían ya la salida procesional en la madrugada del Viernes Santo a las cinco de la mañana, para no coincidir con la procesión de Jesús Nazareno.

Se desorganizó la Hermandad en 1876, y en 1893, por iniciativa del comercio jerezano, se proyecta su reorganización mediante el nombramiento de una comisión gestora, quedando en el año 1897 nuevamente constituída la hermandad, dándosele el título del "Silencio", saliendo en procesión el Viernes Santo por la tarde.

Desde 1903 hasta 1913, fecha en que nuevamente dejó de salir en procesión, lo hizo el Jueves Santo por la tarde. En el año 1922 se reorganiza la hermandad, teniendo su salida en la tarde del Jueves Santo. Desde el año 1923 hace estación penitencial el Martes Santo.