魔琺3D虛擬人及視頻生成算法是上海墨舞科技有限公司的深度合成服務算法。該算法在魔琺有靈虛擬人服務AIGC平台(網站)、魔琺有言虛擬人視頻AIGC平台(網站)、魔琺有光虛擬人直播AIGC平台(網站)套用於虛擬人生成場景，根據用戶上傳的圖像，生成虛擬人形象，並且結合文本、圖像、語音、控制信號等多模態輸入，生成虛擬人視頻。
2024年4月，魔琺3D虛擬人及視頻生成算法通過國家網際網路信息辦公室深度合成服務算法備案。
基本介紹
- 中文名：魔琺3D虛擬人及視頻生成算法
- 所屬公司 ：上海墨舞科技有限公司
- 備案編號：網信算備310104618711101240015號
- 套用產品：魔琺有靈虛擬人服務AIGC平台(網站)、魔琺有言虛擬人視頻AIGC平台(網站)、魔琺有光虛擬人直播AIGC平台(網站)
算法原理,運行機制,套用場景,算法目的,
算法原理
魔琺 3D 虛擬人及視頻生成算法是基於計算機圖形學、深度學習、語言學、信號處理等領域的知識理論，根據用戶上傳的圖像，利用 3D 人臉生成技術，生成靜態3D 虛擬人形象；或者結合我們提供的 3D 虛擬人形象素材，根據文本、圖像、語音、控制信號等多模態輸入，結合語音生成、動畫生成、語音識別、語言理解、智慧型問答等算法，輸出與輸入內容傳達語義同步的3D虛擬人的聲音、表情、口型和身體動畫，幫助用戶自動合成3D虛擬人形象為主的視頻內容。
運行機制
魔琺3D虛擬人及視頻生成算法屬於基於深度神經網路的生成合成類算法。通過深度神經網路處理輸入的圖片，生產與圖內容相符的3D虛擬人靜態形象，包括3D虛擬人的幾何造型，3D虛擬人的紋理貼圖等。通過深度神經網路處理文字、語音、圖像、視頻等多模態輸入，生成語音信號，3D虛擬人驅動信號（包括面部驅動參數、肢體動作參數等），以及3D場景和運鏡參數等，然後將上述信號作用於3D虛擬人資產，再通過圖形渲染、音視頻融合等方法，實現最終按照輸入所傳達的語義，輸出進行相應行動的3D虛擬人動畫。
套用場景
魔琺有言虛擬人視頻 AIGC 平台（3D 虛擬人視頻自動生成服務）魔琺有光 3D 虛擬人直播 AIGC 平台（3D 虛擬人自動直播服務）魔琺有靈虛擬人服務 AIGC 平台（3D 虛擬人互動服務）
算法目的
通過3D虛擬人“視頻化、可互動”的方式，為各領域的用戶提供智慧型化、高效化的服務，廣泛套用於信息播報、實時直播、互動交流、業務諮詢、智慧型問答、服務導覽等多模態互動的場景中，滿足新聞、傳媒、快消、文旅、金融等行業的需求，幫助客戶體驗到3D虛擬人技術帶來的業務提升，提高內容生產效率。
