建於三國吳末帝
孫皓在位之時(264～280年)。該廟祀西漢大將軍博陸侯
霍光。傳說孫皓以霍光為捍海之神，在金山上立廟，歲以祀之。
北宋
宣和二年(1120年)，賜額顯忠廟，宣和五年封霍光為忠烈公。
南宋
紹熙四年(1193年)編纂的《
雲間志》中列入祠廟，後亦為
道教供奉。
後加封為忠烈順濟昭應公，且賜銀修繕。
由於金山沿海，海患頻仍，因而香火甚旺。金山原與陸地相連，後南宋時期淪入海中成為島嶼，廟亦廢。
據志書記載，明
正德年間(1506～1521年)，山上尚存石香爐1座，今已無存。
