據《寶安縣大鵬城賴氏世系簡譜》記載,賴氏以周武王之弟穎公為始祖。穎公後五十七世仲軒公遷至廣東陸豐,為賴氏入粵始祖,其後人吾彪於清代清乾隆年間由紫金遷居鵬城。賴吾彪初到鵬城以編竹篾為生,生活清貧。吾彪之孫賴世超自幼聰敏好學,文武雙全,稍長入伍,累立戰功,官至瓊州鎮鎮台,道光十年(1830年),任閩粵兩省武舉考官,封武功將軍,正二品。
賴氏家族非常重視家風。賴世超的夫人劉金花,家族尊稱賴太母。由於丈夫常年忙于軍務,賴太母便勇挑訓導子孫的重任,她以“愛國家,為民族”、“文官不貪錢,武將不怕死”、“崗不離守,守不離綱”為家訓,教育子孫上進,這些家訓使賴氏家族形成了精忠報國、廉潔守法的良好家風,開啟了賴家“三代五將”的榮耀篇章。