飫肥藩13代藩主伊東祐相（すけとも）が元治元年（1864）に建てた別荘で、幕末に栄えた豪商川越家が譲り受けて移築し、昭和42年に現在地に移築された。江戸時代末期の飫肥藩武家住宅の典型的な建物としての価値は高い。