原籍四川，曾經在檳榔嶼天主教學校和馬六甲英華書院學習，並加入天主教。不僅擅長拉丁文，也會說官話，且寫得一手好字。約在1825年，獲得倫敦會創辦的英華書院的獎學金，學習成績出眾。1830年夏，由清廷派往廣州收集外國書籍。1838年又到廣州。1839年，被林則徐聘入府中作譯員。根據《中國叢報》報導，林府主要譯書者為袁德輝。1879年7月《澳門日報》還刊登了小德所譯的具結貿易告示（中譯英），譯書中沒有標點符號，看來像是地道的中國文章格式。該報稱這是它所登載的第一篇漢譯英檔案。1839年袁德輝還給林則徐譯過給英女皇的照會。?
