高橋家住宅は、飫肥城下町の町家筋である本町通りのほぼ中央に位置する。飫肥の実業家で貴族院議員の高橋源次郎が建設したものである。主屋・離れ及び台所と東蔵・西蔵と納屋が国の登録有形文化財として登録されている。
離れ及び台所は、主屋の東側に位置し、敷地の東辺沿いにあたる。木造平屋建でその規模は桁行14mである。切妻造で桟瓦葺の屋根を有する。南半部は離れ、北半部を台所とし、西側は軒をかけて煉瓦敷の通路としている。台所は天井を張らない土間で、井戸やタイル貼りの流し、煉瓦で築かれた竈などの設備がよく残されている。