Schon seit 1550 machte eine Kapelle mit herrlichem Ausblick über die Passhöhe thronend und machte den Ort zu einem besonderen Wallfahrtsziel. Im Jahr 1678 wurde das Kirchlein bereits St. Jakobus, dem Schutzpatron der Lastenträger, Pilger und Wallfahrter, geweiht. Feierliche Gottesdienste zu den Festtagen Jakobi, Laurentius und Bartholomä standen dann jährlich auf dem Programm. Mit der Trennung der Mutterpfarre Tannberg am Lech wurde Hochkrumbach 1687 schließlich zur eigenen Gemeinde. So erhielt die schmale Kirche 1700 einen Turm, 1730 die Sakristei und 1740 einen Altar. Zum Schutze des Priesters wurde anschließend vom östlich gelegenen Widum zur Kirche ein Verbindungsgang errichtet. Durch die große Abwanderung aus Hochkrumbach musste die Pfarrei dann 1856 aufgelassen werden.