運通鏈達數智人多模態合成算法

運通鏈達數智人多模態合成算法是廣州運通鏈達金服科技有限公司旗下的深度合成服務算法。該算法主要套用於數字人視頻生成場景，服務於企業端客戶，根據輸入的文本，結合大模型，生成符合用戶需求的文本內容。採用文本轉語音技術將文本內容轉化成語音，根據音頻特徵和相應的人臉圖像生成與語音內容相匹配的唇部運動人臉圖像，最終將人臉圖像和音頻合成口型視頻輸出給用戶。

2024年6月，國家網際網路信息辦公室發布第六批境內深度合成服務算法備案清單，運通鏈達數智人多模態合成算法在列。

基本介紹

• 中文名：運通鏈達數智人多模態合成算法
• 角 色：服務技術支持者
• 開發主體：廣州運通鏈達金服科技有限公司
• 備案號：440112435903101240011

算法原理

基本原理是基於核心Transformer的神經網路框架的ChatGLM3-6B（北京智譜華章開源）的預訓練大模型架構，融合語音識別，文本轉語音，向量資料庫，數字人建模等技術，實現驅動行業數智人對話。其核心功能是採用文本轉語音技術將大模型輸出的文字內容轉化成語音，將音頻特徵和相應的人臉圖像信息作為數字人模型的輸入，生成與語音內容相匹配的唇部運動人臉圖像，最終將人臉圖像和音頻合成口型視頻輸出給用戶。

運行機制

算法的運行機制可以大致分為以下幾個步驟：行業數據預處理：首先原始的文本數據會經過一系列的預處理步驟，如分詞、分類等，標註成行業數據集，以便模型可以處理。算法結構：算法使用了Transformer架構，語音識別，文本轉語音，向量資料庫，數字人驅動融合架構。監督微調：通過對行業知識的數據集進行監督微調，以便將模型適應特定的行業任務。這個過程通常包括有監督或半監督的訓練。總的來說，算法通過行業數據預處理，多模態算法融合和大模型監督微調的方式，結合數字人驅動，實現了行業數智人對話。它可以根據語音對話，生成連貫、合理的語音回答，並在行業套用領域中發揮作用。

套用場景

客服智慧型助理：該算法可以作為一個智慧型客服系統，能夠回答用戶的問題，並支持多語種和多輪對話。通過語音輸入或文本輸入，系統能夠理解用戶的問題，並生成準確的回答，提供優質的客戶服務。教育培訓：該算法可以套用於教育培訓領域。通過對學生或員工的回答進行評分，系統可以提供個性化的學習輔助和培訓指導。學生或員工可以通過與系統進行對話，獲得針對性的學習支持和反饋。直播互動：該算法可以與直播平台進行集成，通過對彈幕的實時分析和理解，能夠實時回答觀眾的問題。觀眾可以通過彈幕提問，系統可以快速生成準確的回答，提升直播互動的體驗。短視頻生成：該算法可以根據文本文案或語音輸入，驅動數字人模型生成視頻檔案。用戶可以輸入文本描述或通過語音輸入創意，系統能夠根據輸入內容生成相應的短視頻檔案。這些視頻檔案可以發布到短視頻平台，如抖音等，滿足用戶對個性化內容的需求。

算法目的

算法的目的是訓練一個行業數智人完成行業任務。這種算法能夠學習大量的行業文本數據，通過理解語言的結構和語義，生成與之類似的文本，同時結合語音驅動數字人完成多種任務，如生成文章、回答問題等。