日本平安时代的弘仁7年（公元816年）弘法大师（法名空海）得到当时嵯峨天皇的允许，在此建设佛教寺院，并于此开创了高野山真言宗。

日本延历23年（公元804年）弘法大师受当时桓武天皇之命出使中国（当时为唐朝）。在唐的首都--长安，向唐朝的国师青龙寺惠果阿\0黎学习真言密宗佛法。大师两年后回归日本国，递经四朝，皆为国师，为天皇开坛灌顶，为国建坛修法五十一度，前后授灌顶者数万人，日本真言宗自此确立。弘法大师所创立的日本真言宗（东密），不但鼎盛当时，且影响至今。

为寻得理想中远离都尘的深山幽谷，建造既可祈求镇护国家济世利民的道场，同时作为可让修行者静心修禅的寺院，弘法大师曾遍访日本的名山，后来寻到高野山。这其中还有一个传说：

弘法大师入唐“留学”两年后归来的途中，曾向上天卜问何处是建造伽蓝的最理想场所。他把手中的三钴杵向空中投去。然后大师根据三钴杵的飞行方向——大和的宇智郡——一路寻去。路遇一个装扮奇特、相貌异样的猎师，他是个身长八丈余、赤红着脸的伟丈夫，身上带着弓矢，引着黑白两只灵犬。说道：“我是南山的猎师，你想知道三钴所示的地点，就跟着白黑犬走吧。”说完就不见了踪影。大师在犬的引导下，渡过了纪川，进入了险山。又遇见了一个女子，她说：“我是这座山的主人，那个猎师是我的儿子。”既然走对了，就继续吧！于是再跟着犬向深山前进，忽然看到一片幽邃的台地。而在一棵大松树下，那把在明州海滨投出的三钴杵就落在这里。而这里自然就是日后真言密宗修禅的本处地了。至于山中碰到的那个女子据说是天野里丹生都比壳明神，那个猎师则是狩场明神。