A Ermida foi mandada construir por Paio Peres Correia, após a conquista do Castelo, no reinado de D. Sancho II e, em 1510, este Templo foi restaurado com traça manuelina. Mais tarde foi revestido de azulejos tipo maçaroca e de tapete do séc. XVII. Dizem que a pedra que está lá foi onde Nossa Senhora apareceu e essa pedra quando a igreja foi feita queriam-na deixar do lado de fora. Mas todos os dias, quando os homens deixavam o trabalho, iam para casa, e no outro dia de manhã, quando chegavam, as paredes estavam todas caídas. Tentaram muitas vezes fazer a parede, mas ela caía sempre enquanto deixavam a pedra por fora. Até que decidiram deixar a pedra no interior da igreja e, a partir daí, nunca mais a parede caiu.