Cuenta la leyenda de la advocación de Nuestra Señora de la Sierra que tras la victoria en la batalla de Guadalete, las tropas árabes iniciaron el avance hacia el interior de la Península. Los habitantes de Cabra (Egabro), antes de la llegada de los nuevos invasores decidieron esconder la imagen de la virgen del Monasterio de Santa Eulalia. El 11 de noviembre del 714 alguien se la llevó a la sierra y depositó a la virgen en una pequeña cueva del picacho de Cabra y tapó la entrada.
Cabra fue ocupada en el 717 por las tropas musulmanas lideradas por Tarik, que arrasaron la ciudad. No fue hasta el año 1237, cinco siglos después, cuando un pastor la descubrió. Al considerar el lugar como un templo, se ordenó la construcción del santuario y se le dio a la imagen la advocación de Nuestra Señora de la Sierra.
El enclave en el que se encuentra la ermita es conocido como el balcón de Andalucía por las inmejorables vistas de la depresión del Guadalquivir y el límite septentrional de Sierra Morena, y por ser considerado el centro geográfico de Andalucía.
Durante la primavera se celebran diversas romerías. Cabe destacar la conocida como la "romería de bajada" o traslado de la virgen desde la ermita hasta la población de Cabra, realizada a principios de septiembre.