当神社の参道には、恋の伝説の残る桜があります。
元弘のころ、当地に下った藤原頼之はこの地の領主の娘桃香と相思相愛の仲となりました。
しかし頼之は、命により都へ戻ることとなり、二人は再会を固く誓って一本の桜の木を植えて別れました。
やがてその桜は花をつけますが、その花はすべて頼之のいる都に向かって咲いていました。桃香はそのさまを歌に詠み、頼之のもとへ送ります。
南面の桜の花は咲きにけり
都の麻呂にかくとつげばや
桃香の歌に胸を打たれた頼之は、桃香を迎えにゆき二人はめでたくむすばれたということです。この物語を現代に伝える南面の桜は樹齢七百年を数える大木となり、その命の長さは県下一とされております。