この王子は天仁二年（1109）十月、熊野参詣をした藤原宗忠の日記『中右記』に、「早（芳養）の海浜に出て河を越え、早王子に参った」と記されています。
建仁元年（1201）十月の藤原定家の熊野御幸記には、「ハヤ王子」とあります。これ以後、当地方の産土神として敬神を集め、明治四年の神仏合祀により現在の大神社と合祀され今日に到っています。
また海岸近くのせいか、社の柱には鯛が彫り込まれています。
