桃李園位於橫路街中部,建於清鹹豐年間,由正屋和庭院組成,是西遞徽商胡元熙的舊宅,也是西遞唯一的住宅、書館相配的建築。後進廳堂兩側有12塊雕花木板,上面依次鑲西遞風景圖有書法漆雕《醉翁亭記》全文是出自康熙年間古黟書法家黃元治之手,十分珍貴。