《文昌閣碑記》記載，“思昔
孔聖，數仞宮牆，惟道德
高厚……，吾族
方隅奇勝，旺氣蒸蒸，人物事力赫然盛矣。宅之西創建文昌閣，其形勢帶水礪山，凌雲捧日，魁然一大觀也”。顯然，建文昌閣就是要尊崇孔孟，倡導道德教化，更是要彰顯
上甘棠村歷代以來的文武官員。根據史料記載，文昌閣創建於宋代，後在明朝
嘉靖、萬曆48年重修。共4層，高16米，橫10.6米，深10.2米，占地108平方米。一、二層青磚砌築，三、四層為全木結構，抬梁做工考究，
童柱所騎駝峰均採用
蓮花座，具有明顯的明代建築特徵。屋面為青瓦歇山頂、雕刻精細美觀，斗拱飛檐。文昌閣整體呈護城牆箭型，莊重穩定。
