幕末の儒学者として著名な安井息軒は、寛政11年（1799）清武郷中野で飫肥藩の子弟教育を行っていた安井滄洲（そうしゅう）の次男として生まれた。
　幼少より学問に励み、江戸の昌平坂学問所等で学んだ後、飫肥藩の学校である振徳堂で父滄洲と共に教鞭をとり、飫肥藩学の興隆に大きく貢献した。
　滄洲の死後、更なる研鑽（けんさん）を求めるため、一家揃って江戸に移り、昌平坂学問所の教官を務めた。後に三計塾を開き、明治９年（1876）77歳の生涯を終えるまで、多くの逸材を輩出した。後の外務大臣陸奥宗光もそのうちの一人である。
　安井息軒の旧宅は、宅地1,800㎡、建物は63㎡の平屋で、８畳の床の間と10畳の部屋があり、奥座敷に土間が続いている。平成６年（1994）には、瓦葺きの屋根を、もとの茅葺きに戻すなどの整備が行われた。
　旧宅の東側に当時の古井戸が残っており、息軒が自ら植えたとされる梅が今も残っている。