LATTE3D是一個文生3D模型，模型就像一台虛擬3D印表機。只需在文本框輸入文字描述，在單張消費級GPU上運行，不到1秒時間，該模型就能按要求生成對應的物體和動物的幾個不同的3D形狀，供創建者選擇，再在幾分鐘內最佳化成更高的質量。而3D形狀可以隨意放大、旋轉，360度無死角。
2024年3月24日，智東西報導，在本周舉行的英偉達GTC大會期間，英偉達（NVIDIA）首席科學家兼研究高級副總裁Bill Dally、英偉達AI研究副總裁Sanja Fidler與智東西等全球媒體進行交流，分享了NVIDIA Research的進展，並現場演示英偉達最新文生3D模型LATTE3D。
基本介紹
- 外文名：LATTE3D
- 類型：文生3D模型
發展歷程,功能特點,
發展歷程
2024年3月24日，智東西報導，在本周舉行的英偉達GTC大會期間，英偉達（NVIDIA）首席科學家兼研究高級副總裁Bill Dally、英偉達AI研究副總裁Sanja Fidler與智東西等全球媒體進行交流，分享了NVIDIA Research的進展，並現場演示英偉達最新文生3D模型LATTE3D。
功能特點
LATTE3D模型就像一台虛擬3D印表機。只需在文本框輸入文字描述，在單張消費級GPU上運行，不到1秒時間，該模型就能按要求生成對應的物體和動物的幾個不同的3D形狀，供創建者選擇，再在幾分鐘內最佳化成更高的質量。而3D形狀可以隨意放大、旋轉，360度無死角。
生成的3D素材能直接導入圖形軟體應用程式或平台中，比如Omniverse平台。LATTE3D使用英偉達A100 GPU進行訓練，模型先生成神經3D形狀，然後用圖像擴散模型作為老師來對渲染圖像進行反饋。除了3D形狀外，該模型還接受了使用ChatGPT生成的各種文本提示詞的訓練，以提高模型處理用戶描述特定3D對象的各種短語的能力。比如，它能理解以各種犬類為特徵的提示應該都生成類似狗的形狀。
當研究人員在特定的動物和日常用品數據集上訓練LATTE3D時，開發人員可使用相同的模型架構在其他數據類型上訓練AI。
例如，如果在3D植物數據集上進行訓練，LATTE3D可幫助景觀設計師在與客戶進行頭腦風暴時快速填充樹木，開花灌木和多肉植物的花園渲染。如果對家用物品進行訓練，該模型可以生成物品來填充家庭場景的3D模擬，開發人員可以用它來訓練個人助理機器人，然後再在現實世界中進行測試和部署。
