白鳳時代（7世紀後半）に建立された古代寺院跡で、付近から飛鳥の寺院や平城宮などと同じ瓦が出土している。「禅定寺文書」の鎌倉時代の記述に「山瀧寺」の名が見られ、昭和20年代まで「大御堂」が存在していた。
現在の「観音堂」には鎌倉時代の木造十一面観音立像（町指定文化財）が安置され、毎月18日に開帳される。
明治6年（1873）には町内最初の学校「維孝館荒木小学校」が設置された。
大宮神社の手洗い鉢は山瀧寺の塔の礎石だったといわれる。