En el siglo XIV, un soldado nacido en Ruzafa, apellidado Alfonso, quedó prisionero cuando se perdieron los Santos Lugares, adonde había ido a combatir.
Sufrió todos los horrores de la esclavitud: desde el hambre y la sed hasta las más tremendas humillaciones.
Desesperado, pensó en huir, y lo puso en práctica. Una tarde, sin ser visto, se alejó del lugar de su cautiverio. Después echó a correr a campo traviesa, sin saber a dónde iba, ya que no conocía el camino. Cuando se hallaba ya muy lejos del lugar de su escapatoria, se arrodilló junto a un olivo e invocó a la Virgen.
Rezando estaba y llorando amargamente, cuando de pronto vio en la copa del olivo una imagen de la Virgen pintada en una tabla.
Tranquilo, convencido de que estaba ya bajo la protección de la Señora, se quedó dormido.
Cuando clareó el alba, despertó. Miró a su alrededor, y se sorprendió al notar que no se hallaba en el mismo sitio en que se había dormido.
El aire era más puro; el cielo, más azul; los pájaros cantaban, y hasta él llegaba el suave perfume de las flores y los frutos. Se dio cuenta entonces de que se extendía ante su vista la ubérrima huerta de Ruzafa. Únicamente el olivo era el mismo, y en su copa seguía la imagen de la Virgen pintada en la tabla.
Cerca de él, en un grupo que le contemplaba atónito, estaban sus amigos y familiares.
Contó él su aventura, y quisieron entonces llevar en una solemne procesión, hasta la iglesia de Ruzafa, la tabla donde estaba pintada la imagen de la Virgen; pero no pudieron arrancarla del olivo, por lo que comprendieron que lo que debían hacer era construir una capilla en aquel lugar.
La capilla existe hoy todavía, y el día de la fiesta, los muchachos y las jóvenes, después de oír devotamente la misa, bailan y cantan alrededor del olivo, que se conserva en la plaza, frente a la capillita.