吳集古鎮是建於清康熙年間的一個古鎮，在1992年公布為縣級文物保護單位。
吳集古鎮的楊山祠始建於清康熙年間，乾隆時重修，1992年公布為縣級文物保護單位，1998年再修。相傳楊山是一位隨炎帝治理洣水而殉職的大臣，百姓景仰其功德，將他葬在殉職地高山上，山因而得名楊山，山下建有紀念他的楊山祠。祠在衡東縣吳集鎮北街口，與縣城隔洣水相望，磚木結構，懸山頂，建築面積300平方米。正面有牌坊，上有“德揚思博”四個大字，兩側飾有浮雕、塑畫。寺分前、後兩殿，中由石階相連，前殿左右各出一長方形天井，檐柱為花崗岩石料，前、後殿檐柱聯語為：
明德超千古，補天地化育之窮，不但為伊春一代良弼；
大澤沛三湘，應民物呼籲之急，豈徒作吳集萬姓福神。
溯故老遺聞，令人思上左藎臣，勤跋涉，帳攀髯，生死望炎陵，真氣一源通洣水；緬靈侯顯佑，隨地作斯民福主，助神風，怡逆浪，姓名昭澤國，化身千仞托揚山。
