Pověst praví, že na vrchol Boží hory někdo přinesl obraz Panny Marie už ve 12. století, nicméně první barokní kaple byla na Boží hoře vystavěna v r. 1713. Kostelík byl dřevěný a okolí bylo ještě kryto dřevěným přístřeškem. V r. 1784 bylo výnosem Josefa II. poutní místo zrušeno a obraz Panny Marie přenesen do kostela ve Skorošicích. Tento kostel vyhořel r. 1833 a i obraz vzal za své.

Nicméně tradice potí na Boží horu pokračovala. Pro neutěšený stav bylo posléze přistoupeno k nové stavbě. Nejdřív však vznikla nová Křížová cesta na vrchol Boží hory (1877) a r. 1878 byla započata stavba novogotického kostelíka. Nový kostel byl vysvěcen 30.5.1880. V r. 1893 dostala křížová cesta nové obrazy od malíře Baucha z Vidnavy.

Kromě kostelíka na Boží hoře je hora tvořící s vedlejším Borovým vrchem významnou geologickou lokalitou. V lomu JV od vrcholu byly těženy biotické granity. V masivu jsou žíly aplitů a pegmatitů, v okrajové části lomu jsou pak žíly kalcitického mramoru. Boží hora (525m) je zároveň nejvyšší horou Žulovské pahorkatiny. Vrchol s kostelíkem je dostupná modrou TZ, které sleduje trasu Křížové cesty, k lomu je trasa neznačená, není však velkým problém ji objevit, případně k lomu můžeme dojít od silnice ze Žulové na Černou Vodu odbočkou před Andělskými Domky.