大山寺は、神亀元年（724）に奈良東大寺の開祖、良弁僧正の草創とされ、玄般法印によって伽藍が建立されたと伝えられる。
『大山寺略縁起』によれば、良弁僧正が相模の大山に登ったところ、東の方向に紫雲たなびく処が見られた。僧正は直ちに、その地へ出向き、平塚村に到着したのは夕暮れ時であった。僧正が樹のもとに腰を下ろして、念誦をしたところ、色あざやかな雲が立ち昇り、そこから不動明王が現れた。不動明王は、「これより東南の方向にわたしが住すべき山がある。必ずそこに形像を安置しなさい。」と告げられた。
さて、僧正はこの出来事を非常に喜び、明け方、大山の麓に至ると、白髪の老人が現れた。その老人は清光翁と呼ばれ、この山の主であった。老人が言うには、「この山は常に紫雲がたなびいており、不動明王を安置するのにすばらしい山である。わたしは僧正が来られるのを首を長くしてまっておりました。今、この山を僧正にお譲りいたします。そしてわたしを三宝荒神として祀ってください。」
以上が大山寺縁起に記述された、良弁僧正が大山寺を創建した由来である。
鎌倉時代になると、大山寺の名声も高くなり、時の将軍源頼朝から所領を安堵され、また、鎧一両、太刀一振りも拝領したと伝えられている。
さらに、観応三年（1352）には、雨乞い祈願成就により、将軍足利尊氏から大般若経六百巻が奉納された。
安房国は正木、里見、徳川幕府へと為政者が交代していったが、その度に大山寺の所領が安堵された。
不動堂は何度か建て替えられ修復されたが、棟札の存在からはっきりと年代がわかるのは、天正四年（1576）と、享和二年（1802）である。
さて、時はくだり明治の世になると、明治政府は「神仏分離令」また「修験禁止令」を発布した。これにより、それまで神仏混淆として宗教儀礼を行ってきた修験寺院は壊滅的な打撃を受けることとなった。大山寺では幕府から許可されていた所領地は政府に召し上げられ、また高蔵神社と大山寺が分離されることにより、大山寺にはまったく僧侶がいない状況となり、隣地にある真言宗智山派の悉地院の住職が兼務することとなった。さらに別当として寺を管理していた安田家当主へ寺の財産が移譲されることとなり、大山寺の宝物類はすべて持ち去れてしまった。なかでも平成十六年（2004）に長野県常楽寺において実在が確認された大山寺所蔵の大般若経六百巻は、おそらく明治期の混乱の中で売却されたものと察せられる。
丸裸になった大山寺ではあったが、地元大山地区の人々の篤い信仰心のおかげで、往時の盛況までには及ばずとも、大山地区のシンボルとして現在まで大切に見守られてきた。
昭和三十三年（1958）には、狩野川台風によって不動堂境内にあった大杉が倒れ、本堂屋根を直撃したために破壊された茅葺き屋根を銅板に葺き替えた大事業。また時期を同じくして、戦時中に供出してしまった鐘楼堂の鐘を新たに鋳造した。昭和四十年（1965）の仁王門の屋根修理、さらには大山不動までの参道を広げる舗装事業など、現在の大山寺が存在するのは、まさに地元の人たちの大山寺に対する計り知れないおもいがあってのことである。
明治以降、神社の境内付属物として扱われていた大山寺本堂であったが、なんとか独立した仏教寺院として存続させるため、宗教法人格を申請する運びとなり、平成十九年（2007）に千葉県から認可を受けることができた。そして真言宗智山派大山寺として独立することとなり、現在に至っている。