NVIDIA Omniverse Avatar Cloud Engine（ACE）是NVIDIA發布的基於雲的 AI 模型和服務的集合，涵蓋從對話式 AI 到 Audio2Face 和 Audio2Emotion 等動畫工具的方方面面，可供開發者構建、自定義和部署生動的互動式虛擬形象。
Omniverse ACE 能夠簡化虛擬形象的開發，提供為任何虛擬形象添加智慧型和動畫所必需的 AI 構建模組，可構建於幾乎任何引擎上，並部署於任何雲端。這些 AI 助手面向各行各業，可助力組織增強當前工作流，並解鎖新的商機。
ACE 是數種生成式 AI 應用程式之一，可助力創作者加速 3D 世界和元宇宙的開發。加入該計畫的成員將獲得 NVIDIA AI 微服務預發布版本的訪問許可權，以及為互動式虛擬形象應用程式開發雲原生 AI 工作流所需的工具和文檔。
基本介紹
- 外文名：NVIDIA Omniverse Avatar Cloud Engine
- 釋義：NVIDIA發布的基於雲的 AI 模型和服務的集合
- 所屬公司：NVIDIA
簡介,特點,套用框架,搶先體驗計畫,
簡介
通過將這些模型和服務遷移到雲端，Omniverse ACE使任何規模的企業都能夠立即獲得創建並部署助手和虛擬形象所需的大規模算力。這些助手和虛擬形象能夠理解多種語言、回響語音提示、與環境互動並提供智慧型建議。
NVIDIA 的 Project Maxine 和 Project Tokkio 是建立在 Omniverse ACE 上的兩個套用。 Project Maxine 為虛擬協作和內容創建套用帶來了最先進的視頻和音頻功能。Project Tokkio 賦予互動式虛擬形象以視覺、感知和智慧型對話能力，並使虛擬形象能夠提供建議，以提高餐廳等場所的客戶服務水平。
特點
(1) 構建：無需專業知識、專用設備或手動密集型工作流，即可開發高級虛擬形象。藉助基於雲的 AI 模型、工具集和模擬技術，Omniverse ACE 可幫助快速構建逼真的虛擬形象
(2) 效果：藉助軟體工具和 API 來構建逼真的虛擬形象，包括用於開發語音 AI 套用的NVIDIA Riva、用於計算機視覺和智慧型視頻分析的NVIDIA Metropolis、用於高性能推薦系統的NVIDIA Merlin，以及用於自然語言理解的 NVIDIA NeMo Megatron。
(3) 部署：在任何公有雲或私有雲的任何引擎中構建、配置和部署虛擬形象套用。無論是實時要求還是離線要求，Omniverse ACE 均可按需開發和自由部署虛擬形象。
(4) 實時：Omniverse ACE 建立在 NVIDIA 統一計算框架 (UCF) 之上，使開發者能夠將 NVIDIA 的虛擬形象技術無縫集成至其套用中。
套用框架
開發者可以利用 Omniverse Avatar 技術平台構建自己特定領域的虛擬形象解決方案，利用 Project Maxine 開發新一代網路會議，或者利用 Project Tokkio 開發智慧型 AI 服務代理。
- NVIDIA Maxine：使用全球客群的語言可以顯著改善與他們的協作關係。NVIDIA Maxine 將 NVIDIA Riva 的實時翻譯和文字轉語音與實時“動態肖像”照片動畫和眼神交流集成，可以讓溝通順暢，理解得當。
- Project Tokkio：Project Tokkio 是一款使用 Omniverse ACE 構建的套用，可將 AI 賦能的客戶服務引入零售商店、快捷餐廳甚至網路。該套用使用 NVIDIA Metropolis、NVIDIA Riva 和 NVIDIA NeMO 等 NVIDIA AI 模型和技術打造而成。由於 Tokkio 在 NVIDIA 的統一計算框架 (UCF) 上運行，因此可以從雲端橫向擴展，隨時隨地提供行為自然、反應迅速的虛擬形象來幫助客戶。
搶先體驗計畫
Omniverse Avatar Cloud Engine現已供搶先體驗，可用於進行互動式虛擬形象的自定義和部署。虛擬形象的開發通常需要專業知識、專用設備和人工密集型工作流。為簡化虛擬形象的創建，Omniverse ACE 使 NVIDIA 的 AI 技術（包括預構建模型、工具集和特定領域的參考應用程式）能夠無縫集成到基於大多數引擎構建並部署在公共或私有雲上的虛擬形象應用程式中。
搶先體驗計畫包括訪問 ACE 動畫 AI 和對話式 AI 微服務的預發布版本，包括：
- 3D 動畫 AI 微服務：用於第三方虛擬形象，使用 Omniverse Audio2Face 生成式 AI，僅基於音頻檔案來創建逼真的面部動畫，使虛幻引擎和其他渲染工具中的角色能夠栩栩如生。
- 2D 動畫 AI 微服務：名為 Live Portrait，可使用實時視頻源，輕鬆製作 2D 肖像或風格化人臉動畫。
- 文本轉語音微服務：使用 NVIDIA Riva TTS，基於原始轉錄文字，無需任何額外信息（例如語音模式或節奏），即能合成聽起來自然的語音。
該計畫的成員還將獲得工具、示例參考應用程式和支持資源的訪問許可權，這些將有助於成員著手啟動。
（1） 功能：
Omniverse ACE可助力團隊構建互動式數字人，提升各行各業的體驗，提供以下更新功能：
- 簡單的角色動畫：使用戶只需很少的專業知識，就能打造出栩栩如生的角色動畫。
- 雲端部署的能力：意味著虛擬形象幾乎可在任何地點使用，例如快餐店售貨亭、平板電腦或 VR 頭顯。
- 基於 NVIDIA 統一計算框架（UCF）構建的即插即用套件：可實現 NVIDIA AI 與其他解決方案之間的互操作性，確保最先進的 AI 能夠適用於所有用例。
（2）行業套用：
- Ready Player Me ：Omniverse ACE 動畫 AI 微服務支持來自 Ready Player Me 的 3D 角色，這是一個用於構建跨遊戲虛擬形象的平台。藉助 NVIDIA Omniverse ACE，該團隊能夠更輕鬆地讓虛擬形象看起來栩栩如生。
- Epic Games：Epic Games先進的 MetaHuman 技術改變了逼真、高保真數字人的創建。Omniverse ACE 與 MetaHuman 框架相結合，將使用戶能夠更輕鬆地設計和部署引人入勝的 3D 虛擬形象。
- Vtubing：許多創作者正在嘗試一種新的直播方式—— VTubing，即用戶能以 2D 虛擬形象出鏡並與觀眾互動。藉助 Omniverse ACE，創作者可以將虛擬形象從 2D 動畫轉換為 3D，包括照片和風格化的頭像。用戶可從雲端渲染虛擬形象，在任何地點都能為角色製作動畫。
- NVIDIA創意團隊創建虛擬形象：數字人不僅可以具有對話能力，也可以成為歌手。NVIDIA 的創意團隊迅速創作了一個 TJ 演唱《鈴兒響叮噹》的動畫視頻，使用 Omniverse ACE 來提取歌手的聲音，並將其轉換為 TJ 的聲音，使虛擬形象能夠以與原始藝術家相同的音高和節奏來演唱。
- AT&T正計畫使用Omniverse ACE和Tokkio AI虛擬形象工作流來構建、定製和部署用於客戶服務和員工服務台的虛擬助手。該公司正在與NVIDIA的服務交付合作夥伴Quantiphi聯手，共同開發可以用當地語言提供跨地區全天候支持的互動式虛擬形象。此舉可幫助該公司在降低成本的同時，為全球員工提供更優質的體驗。除了客戶服務之外，AT&T還計畫構建和開發用於全公司各種使用場景的數字人。
- Quantiphi通過結合大型語言模型（LLM）、圖形學和推薦系統的力量，為客戶帶來更具沉浸感的體驗。NVIDIA的Tokkio框架賦能，使其企業客戶能夠更容易地構建、部署和定製AI驅動的數字助理或虛擬形象。同時，自動語音識別、對話代理和信息檢索系統與實時動畫無縫集成的過程也得到了簡化。
- 德勤已將包括Omniverse ACE在內的NVIDIA AI和NVIDIA Omniverse服務與平台加入其最新的混合雲產品，該產品將被用於德勤AI計算中心。
