聖武天皇の御代、行基大僧正はこの地、三輪山に伽藍を建立することを計った。此処に近い榧谷に幹が五つに分かれている榧の大木があり、その榧の木で仏像を彫刻された。