1924年秋，共產黨人胡完生、黃士彪在青雲鎮創辦圖書館。1938年8月，創辦萬年縣圖書館，館址設救濟院。1940年，縣圖書館恢復，館址遷文昌宮。1942年併入民眾教育館，改名為圖書室。1949年新中國成立後，復稱圖書館，隸屬縣文化館。1984年9月，與文化館分設單獨建制。1985年5月，動工興建圖書館大樓，於1986年6月正式對外開放。2011年12月30日，位於萬年縣建德大街（會展中心大樓一樓）的新館建成開放。新館總建築面積為3895平方米，使用面積為2682平米，設計藏書容量40萬冊，可容納讀者座位500個。設綜合閱覽室、外借室為、電子閱覽室、少兒借閱室、盲文借閱室、書庫等。實際共有閱覽坐席230個，計算機52台，信息節點520個，寬頻接入200Mbps，選用ILAS自動化管理系統。2012年，參加第五次全國公共圖書館評估，首次獲得二級圖書館稱號。
