"En la Ermita de Nuestra Señora de las Nieves, que está a la salida de esta Villa hacia el mar, está un ermitaño del cual se recibió juramento... Asiste en la dicha ermita y es ermitaño della más ha de un año".
Según la historiadora Purificación Ruiz García, esta diligencia hecha en Torrox el 13 de marzo de 1627 es la primera referencia histórica de esta Ermita. Agrega el documento que la misma era "Fecha, adornada y fabricada de la limosna de los fieles católicos vecinos de esta villa".
Lo cierto es que en 1646 el Cencejo Municipal de torrox ya había solicitado a los frailes Mínimos que crearan un establecimiento religioso, que además educara a los hijos de los vecinos sin embargo los frailes no se instalaron allí hasta 1670, primero como Hospicio, y desde principios del siglo XVIII definitivamente como Convento.
La Ermita está emplazada sobre un mirador a la entrada de la población, llegó a ser centro de piedad comarcal. Es un antiguo convento de la Orden de San Francisco; con Iglesia Conventual de planta de cruz latina y nave central cubierta con armadura cuadrada en los pies y con lima bordón, pero sin el faldón de la cabecera. En la Capilla Mayor se levanta una armadura de tirantes de lazo y decoración de rosetas pintadas en la tabicas. El testero del Altar Mayor tiene decoración plateresca de estuco, pilastras, grutesco y capiteles que sostienen el entablamento decorado con cabezas de ángeles. Todo se remata en frontón triangular y busto de Dolorosa en el tímpano, quedando enmarcado en un arco ciego de medio punto sobre pilastras y al exterior espadaña en esquina. En 1646 el Concejo Municipal solicitó al provincial la fundación de un convento, por ser villa de cierta entidad y posiblemente por Fray Juan Prado y Ugarte, mínimo torroxeño que había predicado en aquel año. No se pudieron establecer como convento, sino como hospicio, siendo en 1676 cuando dio autorización, aunque las obras se realizarían después, no obstante en 1710, en el Capítulo General de la Orden de san Francisco de Paula, celebrado en Génova, el Hospicio de Torrox quedó como “Convento torroxensis Madonna della Neve”.
Con casi total seguridad, el edificio actual fue construido a fines del XVIII sobre la ermita originaria. La Fundación oficial, sellada en el Capítulo General de la Orden religiosa celebrado en Génova en 1710, lo designa como 
"Convento torroxensis Madonna della Neve".
Este edificio -menos la Capilla- fue expropiado a la iglesia durante la Desamortización de Mendizábal de 1836, y adquirido por 38.508 reales en 1844 por el comerciante D. Gabriel García, que lo revendió en 1851 a don Fernando Sevilla para su uso como almacén. Hoy está restaurado y destinado a usos culturales del Ayuntamiento, a excepción de la Ermita que continúa sirviendo para el culto., y que acoge las imágenes de Ntra. Sra. de las Nieves y de San Roque, Patronos de Torrox, que son procesionados todos los años por sus fieles el día 5 de agosto.
Muy cerca, uniendo las orillas del río que corre a su costado, se encuentra el "Puente de las Ánimas", considerado parte de una antigua calzada romana.
La Ermita se abre los sábados por la tarde para misa. Se encuentra en calle Almedina.