Se trata de un pequeño edificio religioso, situado junto a la carretera de Valverde a Segovia en la entrada del pueblo. En un principio esta ermita estuvo dedicada a San Sebastián. Cuando en el siglo XVII se arruina una antigua ermita, también de Valverde, llamada del Humilladero de la Soledad, por encontrarse en ella esta imagen, los santos y la Virgen que se guardaban en ella se trasladaron a la de San Sebastián y esta cambió de nombre tomando el de la Virgen.

El testamento que dejó como herencia a su muerte, en febrero de 1837, Manuel Tabanera, permitió que el dinero obtenido por la subasta de una tierra se destinara a la reedificación de la ermita de la Soledad. Sólo ponía una condición, que la obra se hiciese en los doce años siguientes a su fallecimiento, de no hacerse así, el valor de las tierras se invertiría también en sufragios por su alma. Las tierras se vendieron en 1840 por mil trescientos reales, cantidad importante pero insuficiente para la reedificación. Por ello se pidió la contribución de los vecinos. El final de la obra y su inauguración tuvo lugar el 25 de julio de 1841, aunque una placa exterior recuerda que se construyó en 1840.

El párroco fray Francisco Pueyo trabajó durante nueve años en la reconstrucción de la ermita invirtiendo en ella su trabajo y parte de sus bienes. Como recompensa fue enterrado en ella. Tras la reedificación se celebró la primera fiesta a la Virgen el tercer domingo de septiembre de 1850.

De escaso uso, salvo como sustitución de los cultos de la iglesia parroquial, fue sometida a reforma de su cubierta en el verano de 2013, sufragada por el Ayuntamiento. Unos años antes se la dotó de iluminación y jardineras, y se creó así un espacio alrededor para dar más realce a este pequeño edificio.