呂道貴性格愚鈍呆滯,語言粗俗淺薄。初次從鄉下到京城和隋文帝相見,隋文帝都落了淚,呂道貴卻不動容,反而連叫文帝的名字說“一點沒錯種啊,長的太像姐姐
呂苦桃了!”呂道貴以後屢次口犯忌諱,動作違背朝廷規矩。文帝很是擔心。於是多給他優厚待遇,不許和朝臣大夫交住。封他為
開府儀同三司,出使濟南太守,命令立即上任,免得再入朝。
呂道貴回到故鄉濟南,自認為地位高貴,和別人說話必口稱皇舅。多次帶護衛和儀仗到鄉下和朋友擺宴遊玩,攪的官民苦不堪言。後來,
濟南郡廢除了,他無事可乾就回家了。他的子孫也都無名望。