寺伝によれば、養和元～2年(1181～82)に、平清盛[たいらのきよもり]の次男宗盛[むねもり]が建立したという。みどころは、いずれも国の重要文化財に指定されている平安中～末期の仏像5体(木造薬師三尊像・不動明王像・木造毘沙門天立像)。そのほかにも鎌倉時代や室町時代の仏像を10体以上祭っている。寺からさらに山道を1.5kmほど登ると、創建当時の場所という鵜ノ池[うのいけ]がある。秋は紅葉の名所。

大神山神社奥宮へ続く参道脇の小道を進むと、大山北壁が一望できる眺望抜群の河原へ到着する。下流側には切り立った岩壁がそびえる壮大な金門があり、こちらも必見。

米子方面から望むと、富士にたとえられるような美しい円錐形。しかし山容は複雑で、標高1729mの剣ケ峰を最高峰に数々の峰が連なり、北には険しい岩壁が屹立するなど見る方向によってまったく表情を変える。5月上旬には大山寺付近でも新緑が見ごろとなり、6月上旬の週末には「大山夏山開き祭」が開催され、多彩なイベントが行われ、夏山シーズン到来。10月下旬～11月上旬には鍵掛峠へ向かう大山環状道路が紅葉の最盛期となる。大山隠岐国立公園の中核をなし、豊かな自然が息づいている。