Nach den überlieferten Akten entstand um 1675 auf der Sakristei der Georgskirche eine erste Einsiedlerwohnung. Die Maßnahme stand im Zusammenhang mit der Betreuung der abgelegenen Wallfahrtskirche und sollte durch die Anwesenheit eines Eremiten Einbrüche

Am 22. Juni 1689 schilderte Pfarrer Johannes Oppenrieder dem Archidiakon von Baumburg die Situation des Eremitoriums bei St. Georg am Berg. Er begründete die Einrichtung mit der abgelegenen Lage der Kirche und wiederholten Einbrüchen. Die Anwesenheit eines Einsiedlers sollte die Kirche schützen und betreuen.