姬岩寺始建於宋政和元年（1111年），到淳佑元年間（1241年—1252年）黃應斗拓地重建。明成化七年（1471年）寺僧道力祈雨，積薪自焚，寺廟被燒毀，明萬曆八年（1580年）再度重修。
名士曹學佺為題壁“來天台”3字。清乾五十年（1785年）鄉宦黃任等首倡第三次重修。
1981年以來鄉人再修。現建築物有：大雄寶殿、禪房、香積、仙君府、夢亭和大玄寶殿等。除明末鄉宦黃文煥倡建的“鬟翠樓”毀壞，留下遺址，尚未恢復外，其他建築物大都完好無缺，少部分還保留明清初的建築風格。
該寺於1978年列入縣級文物保護單位。近年寺廟周圍由鄉人黃修任投資，興建旅遊度假區。
