五百禩神社は飫肥城下町の対岸にあって、藩主伊東家歴代を祀る神社である。もとは、伊東家の菩提寺である旧報恩寺があったが、明治５（1872）年の廃仏毀釈により廃寺となり、その跡地に同神社が建立されたものである。
　石塀から東側の位置に石橋と石垣がある。石橋は、橋長4.1m・幅4.2mで橋の中央に橋脚を設け、太鼓状に桁を架けて10本の石材を渡す構造である。橋の両側には低い欄干がつく。石材は地元で産する飫肥石が用いられる。
　石垣は堀割の留めであり、高さ0.7mの切石積みである。