宮崎県東海村（現延岡市）に生まれる。幼い頃から内気な性格で、旧制県立延岡中学校時代は、英文のギリシャ神話や思想書などを読んでいたという。大正７年に同校を卒業。翌８年に上京し、[太平洋画会]研究所に学ぶ。しかし病弱であったことと家業を継ぐ事情もあり、数年後帰郷。山林経営や製茶の仕事をするかたわら、田園の風景を主に描いていたが、作品を発表することを嫌った。哲学書を愛読し、[鳥獣戯画]なども好んだ。昭和１８年に延岡市の自宅にて没。宮崎県総合博物館で開催された昭和５４年の「ふるさと美術展」、同５７年の「延岡の異才　[渡辺謙二郎]・小五郎展」で、展示紹介された。詩人渡辺修三、彫刻家の[渡辺小五郎]は弟である。