聽濤山莊是船長科尼利爾斯·范德比爾特(Commodore Cornelius Vanderbilt)為其家族建造的避暑山莊。范德比爾特家族發家於蒸汽船航運,隨後投身於鐵路行業,是19世紀美國著名的鐵路大亨,他的孫子--科尼利爾斯·范德比爾特二世(Cornelius Vanderbilt II)在1885年成為紐約中央鐵路系統(New York Central Railway System)的主席兼總裁,同年在新港市購置了一座木屋。在1893年,科尼利爾斯·范德比爾特二世委託建築師--理察·莫瑞斯·亨特(Richard Morris Hunt)設計一座別墅來取代在1892年因為大火付之一炬的木質房屋。亨特領導了一個由工匠和技師組成的國際團隊,建造了華麗的義大利文藝復興時期風格的別墅,靈感來源於16世紀熱那亞和都靈(Genoa and Turin)的宮殿。奧地利裔美籍雕刻家卡爾·比特(Karl Bitter)設計屋內的雕刻,另由波士頓的建築師奧登·考得曼(Ogden Codman)裝飾家族所住的房間。