昔、桃の木峠一帯は西富田村の村有地であった。そして、瀬戸鉛山村から西富田村へ行くには、どうしてもこの峠を越さねばならない。

この峠は勾配の急な山道で、坂を登りつめたところに「桃の木地蔵」という小さな祠があった。そこから細野の方へ降りていくと右手に小さな流れがあり、その下流は滝になっている。滝の右岸には、この滝を見守るかのように「お滝さん」という祠が祀られていて、祠の傍らには樹齢二、三百年を経たと思われる一本の大きな松の木が準えていた。

昭和八年に、白浜口駅まで鉄道が開通してからは、この道も車の通行が増えてきたので、桃の木峠の急坂を改良することになり、昭和十二年、細野口から白浜変電所まで、新しく県道が付けかえられたのである。

このとき桃の木峠は大きく切り下げられ、広い道路に改修されて現在に至っているのだか、そのかわり古い県道は寂れた町道として取り残されることになった。

昭和二十年、第二次世界大戦も終わり、各市町村共に財政の疲弊時代を迎えたが、当時、桃の木峠一帯には、昭和のはじめに西富田村が営林署の協力を得て植林した桃の木や、杉の木が大きく成長して林を形成していたのである。

昭和二十五年、西富田村の財政の立て直しを図るため、この立木を売却することになり、これを買ったのは西富田のOさん他二名であった。そして立木の伐採の依頼を受けたのが湯崎のAさんと瀬戸のBさんであった。

伐採が始まったときには、名物の一本松もすでに枯れていたので、切り倒すことに決まった。住民の一部から「この松は切らん方が、ええんとちがうか」という声もあったが、「別にたいした事もなかろう」という意見が大勢をしめたので、二人は何のためらいもなく松を切り倒してしまった。

ところが、その翌日から松の木を切った二人は、ひどい高熱におかされ、診察した医者も原因がつかめず手の施しようがなかった。さいわい湯崎のAさんは三、四日で熱が下がったが、瀬戸のBさんは依然として高熱が続いた。そのうち、誰からともなく「これはお滝観音の崇りではなかろうか」と騒ぎだし、毎日、祈祷師が十人も二十人もやってきて、近所の人達と一緒に懸命に神仏に祈ったが、ついに回復することなく昭和二十五年に他界した。

そんなことがあってから「お滝観音は、ちやんと祀らなあかん」という声があがり、今更のように霊験あらたかな神として、崇めまつられるようになったという。

昭和三十年頃から白浜にも観光ブームが訪れ、この桃の木峠一帯に着目した電気旅館の持主、坂本長作氏(日本タクシーの社長)が、昭和三十五年、当時は西富田農協の名義になっていた百二十八町歩を買収し、さらに約十年後、それを大末建設が買い取ってから本格的な宅地造成が始まったのである。

このときも、「桃の木地蔵」と「お滝観音」の扱いについては、伐採したときの「祟り事件」があっただけに慎重に扱われることになった。 造成工事中、別の所へ仮安置するにも、畑崎観音へ伺いをたてたり、田辺の出雲大社分教会で祈祷してもらったりしたらしい。

そして宅地造成が終わった昭和四十八年、元の場所へ《祠》や《堂》を新築して丁重に安置し、毎年一月十九日には今まで以上に盛大な祭りが行われている。