壽山堂因其美麗富有而俗稱為“花台門”,康熙五十四年，壽山堂復遭延燒，兩廊盡成灰燼
壽山堂因其美麗富有而俗稱為“花台門”，花台門因其屢遭“回祿”而屢毀屢建，也因此籠罩神秘傳奇的色彩。“回祿”舊時指火災，清順治年間，南山樓的財富化為灰土，南山人說那是老天爺收回了人間多餘的財富。後來，王懷玉（述松公）在南山樓的遺址上重建了新居，不料新居在康熙丁巳年又遭回祿之厄，王懷玉再一次“庀工鳩材，自堂及廳先後告竣，其規模之宏敞、棟宇之巍峨，視昔有加，因其間多黃髮壽耆、年膺多福者，額其堂曰‘壽山’”。《壽山堂記》也講述了防禦“回祿”對於第宅的重要。
康熙五十四年，壽山堂復遭延燒，兩廊盡成灰燼，這一次在《紹興府志》中有記載：“親柩在堂，居民失火延燎，璣扶柩號慟拜禱。”王璣是王懷玉的兒子，災後，他又重建高閎大廈，有三進四廂，屋百數間，往來長官至此多贈匾額，後軒高掛知縣李之果題的“醇德克昌”，大廳高掛有督撫程元章給的“樂修天爵”，台階上懸掛知縣徐志定題的“孝友流芳”，門廳有儒學周夢仁題的“士林模範”——這些美麗的詞語還留在人們的記憶中，而雕鏤這些詞語的匾額，隨壽山堂在鹹豐辛酉年（1861）遭遇太平天國軍焚燒而灰飛煙滅。
