白滝山山頂のお堂の裏には「恋し岩」と呼ばれる岩が祀られています。この岩には悲しい伝説があります。
その昔、気立ての優しい娘と体の大きな立派な若者とが恋に落ち結婚を誓ったそうです。しかしこの地に相撲の巡業に訪れた際に才能を見込まれ、3年間の約束で村を離れました。しかし3年たっても帰ってこなかったので娘は悲嘆にくれ海に身を投げ命を絶ちました。
その後「白滝」という一人前の力士になった若者が村に帰り娘が死んだことを知り、深く悲しんでいたときお告げがあり、海で娘の化身の岩を見つけて山頂まで運び一生をかけて供養したということです。
それより後、別れ別れになった人たちに同じ思いをさせてはならないと、出先より無事に帰ってくることや平穏な幸せを与えてくれると言い伝えられています。