高橋家住宅は、飫肥城下町の町家筋である本町通りのほぼ中央に位置する。飫肥の実業家で貴族院議員の高橋源次郎が建設したものである。主屋・離れ及び台所と東蔵・西蔵と納屋が国の登録有形文化財として登録されている。
　主屋は桁行11ｍ・梁間7.9ｍの木造２階建で、明治時代に建てられた接客用の施設である。大正４年に修理を受けたと伝えられている。屋根は切妻造の桟瓦葺で、通り側には入母屋造りの玄関がつく。この玄関から入って６畳・次の間・座敷とＬ字形に部屋が配されている。
　また、各部屋の襖や廊下の板戸には日本画が描かれ、すっきりとあか抜けたつくりの欄間など、洒落た数寄屋風座敷の意匠が凝らされた飫肥の商家建築を代表する屋敷である。