NVIDIA Omniverse是NVIDIA旗下基於NVIDIA RTX和皮克斯Universal Scene Description（USD）的圖形和仿真模擬產品。
基本介紹
- 外文名：NVIDIA Omniverse
- 所屬學科：計算機
- 所屬公司 ：NVIDIA
- 套用：渲染軟體
平台簡介,優勢特點,適用人群,主要組件,應用程式,平台與服務,核心功能,數字孿生步驟,更新功能,生態系統,
平台簡介
NVIDIA Omniverse是NVIDIA 技術歷經 20 年發展的結晶，它是一個易於擴展的平台，可以實現 3D 設計協作以及可擴展的多 GPU 實時逼真仿真。
Omniverse僅需一鍵點擊即可在Autodesk Revit、McNeel Rhino或Trimble SketchUp之間切換。用戶無需進行數據準備或抽樣，就能使用兼容的照片級逼真的渲染軟體瀏覽大型模型。
Omniverse還可以一鍵分享高保真光線追蹤模型，讓公司內部同事和客戶能夠在手機、平板電腦或瀏覽器上查看這些模型，從而簡化設計審查，幫助團隊更有效地進行設計溝通。
Omniverse AEC Experience功能集能夠為工作室提供一套改進概念設計流程的工具。
優勢特點
• 用戶和套用間的實時協作：在單個互動式平台上實時整合用戶和主流行業 3D 設計工具。無需準備數據便可即時進行更新、疊代和更改，從而簡化工作流程。
• 實時的速度，離線工作的質量：Omniverse 提供可擴展的、實時光線追蹤和路徑追蹤。實時實現精美、物理級準確且逼真的視覺效果。
• 藉助 RTX 技術模擬現實：只需構建模型一次，即可隨時隨地渲染。在任何設備上實現 NVIDIA RTX™ 技術渲染的逼真度。輕鬆分享工作成果，並確保其原樣呈現。
適用人群
▪ 創作者
NVIDIA Omniverse 作為一個中心，能夠互聯整個 3D 工作流程，將線性流程替換為實時同步創建。無論是視覺特效設計師、3D概念藝術家、數字人動畫師，還是數字AI藝術家、環境藝術家，都能以新方式和未體驗過的速度進行創作。
▪ 遊戲開發者
為滿足遊戲玩家對宏大的沉浸式遊戲世界的期望，全球藝術家團隊必須構建大規模的 3D 內容庫。這既耗費人力，又十分昂貴，並且如果將逼真的照明、栩栩如生的物理效果和更佳的遊戲性能與 AI 相結合，該過程會變得更具挑戰性。
NVIDIA Omniverse 能夠應對這些挑戰，並將藝術家及其資產和軟體工具統一到一個強大的平台中，來幫助遊戲開發者以創紀錄的速度構建物理級準確的逼真遊戲。
NVIDIA Omniverse 是一款顛覆性平台，專為協作和實時逼真模擬而打造。遊戲開發者可以隨時隨地針對同一 3D模型開展協作，同時更大限度地提升工作效率、增進溝通和提高創新能力。
NVIDIA Omniverse能夠實現遊戲開發內容創作變革：
加快遊戲上市速度：快速創建虛擬世界並進行疊代，同時繼續使用慣用的設計工具和引擎（如 Autodesk 3ds Max、Maya 和 Epic Games Unreal Engine）。Omniverse 支持實時同步協作工作流程，這意味著藝術家、設計師和開發者可以同時實時疊代角色、紋理和環境，縮短審查周期。
管理豐富的資產庫：AAA 遊戲工作室擁有龐大的資產目錄，這些目錄已經建立數年，並且規模會繼續增長。開發者可以藉助 Omniverse 平台的 AI 和高級渲染功能搜尋數千資產，幫助藝術家節省寶貴時間，避免錯過緊迫的截止日期。
重新定義電子遊戲敘事：藉助由 AI 提供動力支持的動畫、真正的實時光線和路徑追蹤渲染以及先進的模擬，Omniverse Machinima 有助於重新定義敘事。該應用程式使遊戲開發者能夠通過沉浸式可視化、協作設計和逼真渲染來重新混合、重現和重新定義動畫電子遊戲敘事。
簡化 3D 角色動畫：藉助 Omniverse Audio2Face，遊戲開發者可以將任何配音音軌與遊戲中的角色匹配。可以實時完成，也可以烘焙完成，做出逼真的面部動畫。
▪ 企業
NVIDIA Omniverse Enterprise 是一款端到端協作和仿真平台，可從根本上改變複雜的設計工作流程。Omniverse Enterprise 可將團隊與其日常使用的套用和工具相連線，為當今的動態化團隊創建和諧高效的環境。
NVIDIA Omniverse Enterprise能夠為企業提供實時協作和仿真模擬，加速 3D 設計和數字孿生的工作流程和項目。
- 工業與製造業
NVIDIA Omniverse可以利用 AI 在工程、仿真、生產、遠程協作和可視化方面取得的突破，革新設計、變革工程，並為未來工廠提供動力支持，以實現端到端製造業轉型。
電子製造商都在採用NVIDIA生成式AI和Omniverse實現先進工廠的數位化。富士康工業網際網路、宣鼎、和碩、廣達和緯創使用NVIDIA Omniverse、Isaac Sim與Metropolis構建虛擬工廠、機器人仿真技術和自動化檢測。
NVIDIA於2023年Computex大會期間宣布，電子製造商正在使用綜合參考工作流程來推進其工業數位化進程。這套流程將融合NVIDIA的生成式AI、3D協作、仿真模擬和自主機器技術。依託合作夥伴網路，這套工作流程可幫助製造商使用一系列NVIDIA技術來規劃、建造、運營和最佳化其工廠。這些技術包括：可連線頂尖計算機輔助設計（CAD）套用以及生成式AI應用程式接口（API）和NVIDIA Omniverse；用於仿真和測試機器人的NVIDIA Isaac Sim套用；以及可用於自動光學檢測的NVIDIA Metropolis視覺AI框架。
富士康用於工廠的NVIDIA Metropolis與由 Omniverse 提供動力支持的用於機器人的Isaac Sim結合後，幫助其實現工業自動化目標。
和碩運用NVIDIA Omniverse、Isaac Sim和Metropolis讓其能夠完成AI訓練、改進工廠工作流程，並在現實世界實施想法之前，先在虛擬世界中進行大量模擬。其將整座工廠數位化，從而能夠模擬完整的機器人和自動化流程，並在模擬環境中進行嘗試。
廣達使用其子公司Techman Robot的AI機器人檢查產品質量。Techman利用由 Omniverse 提供動力支持的Isaac Sim來仿真、測試和最佳化協作機器人，同時使用NVIDIA AI和GPU讓機器人本身能夠進行推理。
緯創使用NVIDIA Omniverse以及Autodesk AutoCAD、Autodesk Revit和FlexSim的輸入數據，為其自動化接收線路和操作間構建數字孿生。
Omniverse與全球3D、模擬和生成式AI提供商相連線，這個開放的開發平台可以讓團隊在套用之間建立互操作性，比如來自Adobe、Autodesk和西門子的套用。
- 廣告行銷
WPP集團與NVIDIA基於NVIDIA AI和Omniverse打造用於數字廣告的開創性引擎，能夠連線軟體製造商的3D和AI創作工具，加強品牌內容和體驗。這個引擎與3D設計、製造和創意供應鏈工具生態相連，這讓WPP的藝術家和設計師能夠將3D內容創作與生成式AI相結合，使其客戶能夠以高度個性化的方式接觸消費者，保持品牌形象、產品和徽標的質量、準確性和精確性。
該內容引擎的基礎是Omniverse Cloud—用於連線3D工具以及開發和運行工業數位化套用的平台。它使WPP能夠連線來自軟體的產品設計數據所組成的供應鏈，來為客戶產品創建貼合品牌的數字孿生。通過使用經過生成式AI模型，以及來自Adobe和Getty Images等合作夥伴的內容，WPP的設計師可以使用文本提示來創建各種高保真圖像並將其導入到場景中。有了場景後，創作團隊可以為傳統廣告而渲染大量貼合品牌的2D圖像和視頻，或者將互動式3D產品配置器發布到NVIDIA Graphics Delivery Network上。
主要組件
Omniverse 包含 5 個重要組件，分別是 Omniverse Connect、Nucleus、Kit、Simulation （模擬）和 RTX渲染器。這些組件連同所連線的第三方數字內容創作 (DCC) 工具，以及所連線的其他 Omniverse 微服務，共同組成整個 Omniverse 生態系統。
Omniverse Connect 庫以外掛程式的形式分布，使客戶端套用能夠連線到 Nucleus，以及發布和訂閱單個資產和整個世界。完成必要的同步後，DCC 外掛程式將使用 Omniverse Connect 庫套用從外部接收的更新，並在必要時發布內部生成的更改。當套用更改場景的 USD 表示時，Omniverse Connect 會跟蹤自上次發布活動後的所有本地更改。當套用發出請求後，Omniverse Connect 庫將針對每個差異構建一個獨立檔案，並將其發布到 Nucleus，然後轉發給所有訂閱者。
Omniverse Nucleus 提供一組基本服務，使各種客戶端套用、渲染器和微服務能夠共享和修改虛擬世界的表示。Nucleus 在發布/訂閱模式下運行。根據訪問控制，Omniverse 客戶端可以將對數字資產和虛擬世界的修改發布到 Nucleus 資料庫 (DB)，或訂閱這些更改。更改在互聯的套用之間實時傳輸。數字資產包括幾何圖形、燈光、材質、紋理，以及描述虛擬世界及其演變的其他數據。
Omniverse Kit 並非單體套用，而是由一些擴展程式組成，這些擴展程式可作為構建塊以多種方式組裝，進而助力創建不同類型的套用。由於均採用 Python 編寫，所有 UI 元素、工作流程和一般性功能具有很高的可定製性。Omniverse Kit 是一個用於構建原生 Omniverse 套用和微服務的工具包，基於基礎框架而構建，該框架可通過一組輕量級擴展程式提供各類功能。這些獨立擴展程式是用 Python 或 C++ 語言編寫的外掛程式。
SIGGRAPH 2023上的Omniverse Kit 更新包括：
- 模組化套用構建：全新 Omniverse Kit Extension Registry 是一個用於訪問、共享和管理 Omniverse 擴展程式的中央存儲庫，開發者可以輕鬆啟用或關閉其套用中的功能，因此能夠輕鬆地利用 NVIDIA 提供的 600 多個核心 Omniverse 擴展程式來構建自定義套用。
- 全新開發者模板和資源：全新套用和體驗模板讓剛開始使用 OpenUSD 和 Omniverse 的開發者只需要進行極少量的編碼工作就能輕鬆上手。
- 提升效率和用戶體驗：全新渲染最佳化功能充分利用 NVIDIA RTX™ GPU 中 NVIDIA Ada Lovelace 架構的各項改進，並將 DLSS 3 技術完全集成到 Omniverse RTX 渲染器中。全新 AI 降噪器可實現大型工業場景的實時 4K 路徑追蹤。
- 由原生 RTX 驅動的空間集成：全新擴展現實（XR）開發者工具可讓用戶在基於 Omniverse 的套用中構建原生空間計算選項，使用戶能夠按照自己的想法靈活地體驗 3D 項目和虛擬世界。
Omniverse 中的模擬功能由一系列 NVIDIA 技術以外掛程式或微服務形式向 Omniverse Kit 提供。Omniverse 物理模擬包括剛體動力、破壞和斷裂、汽車動力以及流體動力 (Flow) 等效果模擬。Flow 是對煙/火的歐拉流體模擬，利用稀疏體素格線實現無界模擬域。
Omniverse RTX 渲染器充分利用 NVIDIA Turing 及 Ampere 架構中的硬體 RT Core，實現了實時的硬體加速光線追蹤和路徑追蹤。這款渲染器在實現光線追蹤之前無光柵化處理，因此可以實時處理大型場景。它包含兩種模式，一種是提供快速性能的傳統光線追蹤，另一種是提供高質量結果的路徑追蹤。Omniverse RTX 渲染器在一個系統內原生支持多個 GPU，不久後將支持多個系統的互動式渲染。
應用程式
• Omniverse Audio2Face：藉助 NVIDIA 深度學習 AI 技術，僅需一個音頻來源即可快速輕鬆生成表情豐富的面部動畫。
• Omniverse Create：是一個集成開發環境，幫助開發人員構建擴展、套用和微服務。
▪ Omniverse Create：用於加速高級場景合成的套用。
• DRIVE Sim：DRIVE Sim 可以生成數據集來訓練車輛的感知系統或測試決策制定過程。它還可支持在“軟體在環 (SIL)”或“硬體在環 (HIL)”配置中與自動駕駛堆疊相連，用以測試系統集成。
▪ Omniverse Kaolin App：可視化工具。使用 NVIDIA Kaolin PyTorch 庫和此功能強大的可視化工具，簡化並加速 3D 深度學習研究。
• Omniverse Machinima：使用 AI 技術為遊戲玩家提供工具包，能夠重新定義動畫視頻遊戲故事。
• Universe View：一款可視化套用，能讓用戶查看物理級準確的逼真 3D 設計，獲得令人驚嘆的效果。
▪ Omniverse VR：全幀互動式光線追蹤VR。
▪ Omniverse XR Remote：允許將3D內容從桌面傳輸到 iPad
▪ Omniverse Farm：允許用戶協調多個計算資源以執行批處理和互動式任務的系統層。
▪ Omniverse Showroom：用於查看數字資產。
▪ Omniverse Nucleus Cloud：一鍵協作式3D 大型場景協同創作模式。
• PhysX® ：用於模擬物理，可以進行實時、多 GPU、可擴展的柔體和顆粒布料仿真，幫助提高虛擬世界和物體的物理準確性。
平台與服務
▪ NVIDIA Omniverse Avatar：用於生成互動式AI虛擬化身
▪ NVIDIA Omniverse Replicator：合成數據生成引擎，生成用於訓練深度神經網路的物理模擬合成數據。
▪ Omniverse Cloud：Omniverse Cloud這套雲服務能夠讓藝術家、創作者、設計師和開發者即時訪問 NVIDIA Omniverse平台，允許來自數十億台設備的用戶進行 3D 設計協作和模擬。
▪ NVIDIA OVX：用於驅動大規模數字孿生的 NVIDIA OVX計算系統專為運行 NVIDIA Omniverse（實時物理級準確世界模擬和 3D 設計協作平台）中的複雜數字孿生模擬而設計。
核心功能
Omniverse套用更新支持開發者和企業客戶基於Omniverse基礎套用來自行構建，以適應其特定的工作流：
- NVIDIA USD Composer（原Omniverse Create）：設計師和創作者可使用該可自定義的基礎套用，整合基於USD的大型數據集併合成工業虛擬世界。
- NVIDIA USD Presenter（原Omniverse View）：可自定義的基礎套用，並可作為可視化參考套用，來用於USD項目的互動、協作式展示與審查。
- NVIDIA USD-GDN Publisher：這套雲服務可賦能開發者和服務提供商輕鬆構建和發布基於USD的先進互動式3D體驗，並突破地點和設備限制，實現3D體驗的流式傳輸。
- 最佳化開發者體驗：利用公共擴展程式註冊表，用戶可實現擴展程式的自動更新。配置器模板和工作流以及用於Omnigraph的NVIDIA Warp Kernel Node，將為基於GPU的編碼提供zero-friction developer 工作流程。
- 渲染和材質：Omniverse提供用於實時光追次表面散射的著色器，可使數字人的皮膚達到真實感。Omniverse 通用材質映射器的更新，可賦能用戶在保留材質結構和完整編輯功能的基礎上，無損導入第三方套用中的材質庫。
- 性能：USD的運行時數據傳輸技術可在大規模大型場景的重要性能開發中，提供在模組間存儲和移動運行時數據的高效方法。場景最佳化器可賦能用戶在USD層運行最佳化，將大型場景轉換為輕量級的表示方式，以提高場景的互動性。
- AI訓練功能：自動域隨機化和基於群體的訓練（PBT）可在很大程度上簡化自主機器人開發中的複雜機器人訓練。
- 生成式AI：用戶利用text-to-materials擴展程式，僅需利用文本 Prompt就可自動生成材質。為加速推進生成式AI的套用，Omniverse還通過內部更新，新增了“文本-材質轉換”和”文本-代碼轉換”的生成工具。此外，Audio2Face套用更新還加入了無顯示輸出模式、REST API、高質量的唇音同步以及涵蓋漢語國語在內的強化版多語言支持等功能。
NVIDIA 發布了四款自主構建的全新Omniverse Cloud API，幫助開發者無縫地實施和部署 OpenUSD 流程與套用。
- ChatUSD：一款面向開發人員的大型語言模型 (LLM) copilot 工具，可以回答 USD 知識問題或生成 Python-USD 代碼腳本。ChatUSD 藉助 NVIDIA 提供的 USD 功能和 Python-USD 代碼片段進行微調。
- RunUSD：其是一個 Cloud API，它通過檢查上傳檔案與 OpenUSD 版本的兼容性，將 OpenUSD 檔案轉換為完全路徑跟蹤渲染的圖像，並使用 Omniverse Cloud 生成渲染。目前，NVIDIA OpenUSD 開發者計畫中的開發人員可以使用該 API 的演示。
- DeepSearch：其為 LLM 代理，可在大量無標記資產資料庫中進行快速語義搜尋。
- USD-GDN Publisher：其為一鍵式服務，可助力企業和軟體製造商從 USD Composer 等基於 Omniverse 的套用向 Omniverse Cloud GDN 發布基於 OpenUSD 的高保真體驗，並實時傳輸到網路瀏覽器和移動設備。
數字孿生步驟
NVIDIA Omniverse 軟體實現數字孿生需要經過三個步驟:全保真數位化、合成數據生成和自定義3D流程編排。
- 全保真可視化
定義：CAD級精度、實時的超寫實可視化。
特點：能夠引入CAD級精度的大規模數據集,並實現實時可視化;集成來自多個工具的3D數據集;充分利用多GPU計算資源。
NVIDIA Omniverse是一個易於擴展的平台,可以實現3D設計協作以及可擴展的多GPU實時逼真仿真。Omniverse中的材質、物理學、物理精確、實時光線跟蹤和路徑追蹤渲染能夠助力實現全保真可視化。
寶馬集團使用Omniverse構建工廠的大規模數字孿生。
亞馬遜擁有 200 多個機器人設施,每日可處理數百萬個包裹。其運營十分複雜,需要超過 50 萬個移動驅動機器人來為倉庫物流提供支持。Amazon Robotics 正在利用 Omniverse Enterprise 和 Isaac Sim,構建 AI 賦能的倉儲數字孿生,以更好地最佳化倉儲設計和流程,訓練更智慧型的機器人解決方案。
- 合成數據生成
定義：生成用於訓練感知網路的物理精確的3D數據。
特點：可擴展,利用多GPU計算資源;可大幅縮短訓練時間。
通過使用NVIDIA Omniverse平台的核心材質、渲染技術,可以生成與現實無異的物理精確數據。Omniverse中有多種合成數據生成的工具,包括:NVIDIA Isaac Sim replicator、DRIVE Replicator、NVIDIA Omniverse Replicator。這些合成數據生成工具也可以與NVIDIA TAO、Isaac Sim、NVIDIA DRIVE Sim、NVIDIA Metropolis協同部署。
百事公司正考慮利用 Omniverse Enterprise 和 Metropolis 支持的數字孿生,提升其供應鏈在 200 個地區市場中 600 多個配送中心的效率和環境可持續性。
- 自定義3D流程編排
定義：在軟體套用中構建自定義工具。
NVIDIA Omniverse平台是一個參考開發平台,開放且易於擴展。在Omniverse Kit中,用戶可以構建自定義工具。Omniverse為用戶提供構建模組,以建立用戶自己的Connector(連線器)、擴展程式或應用程式。用戶可以使用NVIDIA的渲染、模擬、材質等所有核心技術,而無需自己動手構建。在Omniverse中,用戶無需重建整個3D工作流程,僅通過建立工具,即可實現連線、增強、擴展。
更新功能
● Unity Omniverse Connector 可供搶先體驗。
● Blender alpha 版本現可在 Omniverse Launcher 中使用，使用戶能夠修復幾何體，生成自動 UV，並將高解析度 CAD 數據抽取為更多可用的多邊形。
● Audio2Face、Audio2Emotion和Audio2Gesture 的更新能夠更好地實現即時且逼真的角色動畫，現可在Omniverse Audio2Face 和Omniverse Machinima 中使用。
● NVIDIA Canvas的功能更新版本即將在Omniverse Launcher 上線，可通過簡單的筆觸來創建 360 度全景。用戶可將環境導入 3D 應用程式，以對不同的設定和光照進行測試。
● AI ToyBox實驗工具由NVIDIA Research構建，包括GET3D，這是一種 Omniverse 擴展，可基於2D圖像生成可訓練的3D模型，使開發者能夠使用自己的數據集，快速創建 3D 虛擬世界模型，現已在Omniverse Extension Manager 中提供。
● 免費3D資產現已提供，供用戶在Omniverse中進行構建和創作。
- Move.ai能根據身體動作生成動畫。用戶可以在任何地方捕捉人體動作並直接輸出到Omniverse中。
- Lumirithmic可根據面部掃描生成頭部3D格線。該連線器使用戶能夠輕鬆地根據面部掃描創建電影級的虛擬形象並在任何行業都能實現大規模的3D掃描。
- Elevate3D可根據360度視頻錄像生成逼真的產品3D圖像，利用神經輻射場創建具有超高視覺保真度的3D格線。
NVIDIA在CES上發布生成式AI模型—GET3D，可以根據2D圖像、文本和數字等數據生成具有拓撲結構、豐富幾何細節和紋理的3D形狀。這些3D形狀或紋理格線可以是動物和人類的造型，並且即將加入汽車、椅子、機車和建築物，使部分行業的創作者能夠迅速擴大他們虛擬世界中的內容數量和多樣性。
GET3D在Omniverse AI ToyBox中與NVIDIA發布的現有生成式AI研究項目一起提供。AI ToyBox收錄了NVIDIA AI項目，使內容創作者能夠在虛擬世界中探索新的可能性。
● 數字孿生：NVIDIA Omniverse模擬平台可簡化協作式虛擬設計流程；數據中心的設計師、建設方和運營商可以利用模擬和數字孿生技術創建高效率、高性能的設施。Omniverse實現CAD、模擬和監控套用的實時數據輸入的匯總，使數據中心運營商能夠實時查看和處理完整的數據集。在規劃和建造AI超級計算機時，NVIDIA Omniverse從第三方行業工具中採集了多個工程 CAD 數據集，使設計師和工程師能夠查看全保真模型，並通過實時協作進行設計疊代。
Omniverse賦能用戶利用加速計算、模擬，以及與實時監測和AI相連線的、用於運營的數字孿生以簡化設施設計、加速設施建設與部署，並持續最佳化運營效果。當數據中心建設完成後，能夠將感測器、控制系統和遙測系統連線到 Omniverse 內構建的數字孿生中，實時監控數據中心運營情況。工程師藉助數字孿生可以模擬功率峰值、冷卻系統故障等常見的危險情況。運營商可以通過AI的修改建議來最佳化重要的優先事項。運營商通過數字孿生可以在軟體與組件升級部署到實體數據中心之前，對其進行測試和驗證。
生態系統
基於NVIDIA Omniverse（創建和運行元宇宙套用的平台）中Omniverse Connectors及其他更新，開發者與創作者可以挖掘生成式AI、模擬和工業元宇宙的潛力。
Omniverse Connectors：用於西門子Xcelerator產品組合（包括西門子 Teamcenter、Siemens NX軟體和西門子Process Simulate）、Blender、Cesium、Rockwell Automation的Emulate3D、Unity以及Vectorworks的全新Omniverse Connectors現已上線，Omniverse Connectors可通過通用場景描述（USD）框架連線更多全球領先套用，幫助用戶進一步最佳化互連工作流。用於Azure 數字孿生、Blackshark.ai、FlexSim和NavVis 的Omniverse Connectors也即將推出。
SimReady 3D資產：推出的1000多種SimReady資產，可簡化AI和工業3D工作流。智慧型自動化解決方案供應商KUKA正在與NVIDIA展開合作，評估SimReady規範的適用性，以簡化客戶的模擬工作。
合成數據生成：基於Omniverse Replicator軟體開發套件，Lexset和西門子SynthAI正在利用計算機視覺輔助工業檢測。Datagen和Synthesis AI正在使用NVIDIA SDK，創建用於AI訓練的合成數字人。德勤則正在利用Omniverse Replicator為客戶提供合成數據生成服務，其中涵蓋製造業、電信行業等領域。
