大淀川の源流で、支流の横市川沿いにある鹿児島県曽於市財部町の切通に住んでおられた粟の神様が、筏に乗って大淀川を下り、高岡の浜で筏を降りられ、そこにお住みになったのが、今の粟野神社であると伝わる。