五百禩神社は飫肥城下町の対岸にあって、藩主伊東家歴代を祀る神社である。もとは、伊東家の菩提寺である旧報恩寺があったが、明治５（1872）年の廃仏毀釈により廃寺となり、その跡地に同神社が建立されたものである。
　石塀は、拝殿の前方に位置している。東西に延びる参道沿いや山裾を囲うように廻らされて神社の敷地を厳然と区画している。石塀の高さは約1.5mで精緻な切石積である。