慶安三年(一六五〇年)に瀬戸臨海浦に徳川様の別邸が出来たというから今から三百五十年前のことであろう。それ以来、頼宣公は度々瀬戸浦へ来られたが、ある年の四月「今日は天気が良いから一度鴨狩りに行こう」ということになり、大勢の家来を連れ鉛山から三段方面に出掛けられた。そして殿様はお疲れになったので、とある民家の門口にあった米俵の上へ腰をかけられた。

そのとき、家の中から出て来た老婆が「これ、何をするだ。そんな上に腰をかけて」と怒鳴りつけた。殿様はハッと気が付き「アッ悪かった悪かった」と言って場所を変えて別の場所へ腰を降ろし、わざと「これはそんなに大切なものか」と尋ねると、老婆は「これは百姓が一生懸命に作ったお米で、しかも殿様に献上する年貢米といって特に大切なものです」と答えた。

殿様は大変喜んで家来に命じ、ここの主、五左衛門に鴨居という姓とここから数町歩以内の田畑および漁網一張りを与えたという。(この書き付けは和歌山藩学問所、駒木八兵衛筆によるものである)

その当時、鴨居地区には鴨居五左衛門の家一軒だけであったが、その後貞亨三年(一六八六年)頃、江川のカツオ・マグロ漁船の乗組員七人が、串本沖や土佐沖へ出漁するには江川浦よりも鴨居浦の方が便利であるということで、家族四十人余りを引き連れ一挙に鴨居浦へ定住してきたので急に賑やかになった。

現在では、鴨居政寛氏および江川から移り住んだ笠松一族が鴨居浦、安久川方面に定住している。なお、鴨居家の菩提寺は南白浜の観福寺であるが、江川から来た漁民七戸は今もって江川の浄恩寺であるという。