綱不知の正木家の祖先は、その昔熊野大社の神官が綱不知にやってきて住みついたものと言われている。そして、そのとき持参した熊野大社の『午王』は正木家の宝物とされているが、それについて、こんないわれがある。

明治の末頃、九州の若松市に住んでいた正木久吉氏の祖母が綱不知へ里帰りしていた。そして彼女が再び若松へ帰るとき、
「この午王は、正木家の本家である私の家の宝だから、持ち帰って祀ることにします」と言って、それを風呂敷に包んで持ち出した。

そして彼女は綱不知の『虎福』の持ち船、住朋丸に乗って帰ることになったが、その途中で不思議な出来事が起ったのである。船が日の岬へ近付いたとき、天候が悪くなった訳でもないのに、船が少しも前へ進まなくなってしまった。

驚いた船頭は仕方なく一旦引き返すことにして綱不知へ帰って来た。不思議な出来事の原因をつきとめるべく、みんなの持物を調べていたところ彼女の荷物の中から『午王』の板が見付かった。
「さては、これが原因に違いない――。やはり神様は綱不知から離れたくなかったのであろう」ということになり、それからは、この『午王』を正木家共同の宝として、毎年六月二日に開かれる先祖講から次の先祖講までの一年間、回り持ちでお祀りすることになったという。

綱不知に住んでいる正木家一統の宗家は、どの家なのか判っていないが、旧家とされている家々を挙げてみると、正木修一郎(屋号なめら屋)正木和三郎・正木徳右衛門・正木政勝(屋号あたらしや)の各氏である。 また一方の旧家とされている正木久吉氏の一家は、早くから瀬戸一丁目の神社前付近に住んでいて、彼の父は吉松という名であった。

この吉松氏は、えらそうな言葉づかいをする人で、誰彼なしに呼び捨てするので、近所の人たちから『太政官』とも『太閣』さんとも、あだ名を奉られ敬遠されていたようである。彼の性格は二、三代前の船乗り『瀬戸正』に似たところがあったらしい。しかし、彼の息子久吉(明治二十二年生)の代になって九州の若松へ移住してからは、彼の持前の手腕を発揮して手広く海運業を営むようになり、若松市の市会議員をも勤めたそうである。