卓敬的從兄卓僧、從弟卓本、卓嚴為躲避新帝的追殺，隱姓埋名，遁至大金（大京）山麓，在此結廬避難。嘉靖年間遇赦複姓，移居現在位置，並環築圍牆以自護。萬曆年間，卓敬昭雪，遂奉召建府第，立祠廟享祭。清朝以後，卓敬作為”瑞安四賢”之一，備受鄉民的紀念和讚揚。如今這裡的明朝建築還保存有正房五間，塊石鋪設的庭院和長400米、高5米用鵝軟石砌成的圍牆，石台門”翠華門”匾一方。經歷五百多年的風雨，保存下來的這座明代庭院有較高的歷史和文化價值，被當地人稱為”卓府城”。2006年1月，《卓府舊址規劃》編制完成，即將付諸實施。
