高力士故宅遺址位於高州市區集賢街、安榮二巷一帶。高力士故居始建於唐初，後經歷代修葺。公元684年，高力士在該宅出世，為少子。10歲時父親誣罪，籍沒抄家，五年後高力士離鄉進京，開始他的傳奇人生。據《高州府志》記載，離家20年後，高力士尋獲失散多年的母親麥氏。帝聞召見，封越國夫人，追贈其父馮君衡為廣州大都督。隨即，高力士回潘州在原故居遺址上修建住宅，面積約4000平方米，三進建築，磚木結構，內有壁畫多幅，後人都稱之為高力士宅。高力士在宅前親手種植椰樹兩株。唐朝時佛教盛行，高力士又在故居旁修建寺院一座，名為“靈惠寺”。高力士宅和靈惠寺在民國期間和解放後多次修葺，但在文革期間遭受較大的破壞。
