慈湖書院,位於樂平市區古城隍廟小南門右側,也就是現在觀音閣。它歷史悠久,有古香古色的文化底蘊,流傳了很多古人的事跡筆墨。樂平慈湖書院原建立在樂平縣城東南古長樂坊、觀音閣左近,“溪山環抱,形勢壯麗”。南有洎水長流,柳絲垂映;北倚崖峭壁,古木參天;可以“觀草木之發生”可以“聽禽鳥之和鳴”。有書聲咿唔,無城市塵囂,真是古代教書育人的勝地。書院為何名為慈湖?系樂平邑人為紀念南宋慈湖先生楊簡而建立的。
慈湖書院位於江西樂平。宋楊簡知樂平時,首倡士民興修學舍,闡明心學,以崇教化,餘澤在人,感念不泯。元至元十九年(1282)知縣翟衡謀於故宋丞相馬廷鸞,興建書院,祀楊簡,賜額曰“慈湖書院”。二十九年馬端臨出任山長達26年。至正初年,危素撰《樂平州慈湖書院贍學田記》。元末兵毀,鞠為茂草。