NVIDIA GET3D是NVIDIA發布的產品，僅使用 2D 圖像進行訓練，可生成具有高保真紋理和複雜幾何細節的三維圖形。這些 3D 對象的創建格式與熱門圖形軟體套用所用的格式相同，允許用戶立即將其形體導入 3D 渲染器和遊戲引擎，以便進行後續編輯。
GET3D 的名稱源於其能夠生成顯式紋理 3D (Generate Explicit Textured 3D) 格線，這意味著它會以三角形格線的形式創建形體並使用紋理材質覆蓋，就像 papier-mâché 模型一樣。這使得用戶能夠輕鬆地將對象導入遊戲引擎、3D 建模軟體和電影渲染器，並進行編輯。
基本介紹
- 外文名：NVIDIA GET3D
- 所屬品牌：NVIDIA
簡介,套用,
簡介
以前的 3D 生成式 AI 模型，在所能生成的細節水平上很受限制。即使是逆渲染方法也只能根據從多個角度拍攝的 2D 圖像生成 3D 物體，這就需要開發者一次構建一個三維圖形。
在單個 NVIDIA GPU 上運行推理時，GET3D 每秒可生成大約 20 個形體，就像處理 2D 圖像的生成式對抗網路一樣，只是生成的是 3D 對象。作為學習來源的訓練數據集更大、更多樣化，輸出也會更多樣化，並且更詳細。
NVIDIA 研究人員使用合成數據訓練 GET3D，數據中包含使用不同攝像頭角度拍攝的三維圖形 2D 圖像。該團隊僅用了兩天時間，就使用 NVIDIA A100 Tensor Core GPU，對模型進行了 100 萬張圖像的訓練。
套用
NVIDIA GET3D所生成的對象可用於建築、戶外空間或整個城市的 3D 表現，為遊戲、機器人開發、建築和社交媒體等行業量身打造。 GET3D 可以根據受訓練時使用的數據生成幾乎無限量的三維圖形。就像一位藝術家將一塊粘土製成精細的雕塑一樣，該模型會將數字轉換為複雜的三維圖形。
例如，藉助 2D 汽車圖像的訓練數據集，它創建了轎車、卡車、賽車和麵包車等系列集。當在動物圖像上訓練後，它會生成狐狸、犀牛、馬和熊等生物。如果輸入椅子時，模型會生成各種旋轉椅、餐椅和舒適的躺椅。
在創作者將 GET3D 生成的形體導出到圖形套用後，當這些物體移動或旋轉時，就能使用逼真的照明效果。通過整合 NVIDIA Research 提供的另一種 AI 工具 StyleGAN-NADA，開發者可以使用文本提示將特定風格添加到圖像中，例如將渲染出的汽車調整為被燒毀的汽車或計程車，或將普通房屋設定成鬼屋。
未來版本的 GET3D 可以使用攝像頭姿態預估技術，讓開發者能夠使用真實世界的數據（而不是合成數據集）來訓練模型。還可以對其進行改進以支持通用生成，這意味著開發者可以一次性訓練用於各種三維圖形的 GET3D，而不必每一次在一個對象類別上進行訓練。
