語映生成合成算法是杭州蓋視科技有限公司旗下的合成算法。該算法依託於語映(APP)、語映(網站)，主要套用於視頻生成場景，將輸入視頻中的源語言語音轉換為文本，對獲取的文本進行翻譯，生成目標語言的文本；將翻譯後的文本轉化為自然流暢的語音數據，最終輸出包含翻譯後語音及對應唇形的新視頻。
2024年6月，國家網際網路信息辦公室發布第六批境內深度合成服務算法備案清單，其中包括“語映生成合成算法”。
基本介紹
- 中文名：語映生成合成算法
- 角色：服務提供者
- 備案號：網信算備330108116674701240011號
- 開發主體：杭州蓋視科技有限公司
算法原理,運行機制,套用場景,算法目的,
算法原理
語映生成合成算法使用了基於自動語音識別(ASR)、機器翻譯(MT)以及語音合成(TTS)等技術的深度學習模型進行生成合成服務。首先，自動語音識別(ASR)模組將輸入視頻中的源語言語音轉換為文本；隨後，機器翻譯(MT)模組對獲取的文本進行翻譯，生成目標語言的文本；最後，通過高質量的語音合成(TTS)模組將翻譯後的文本轉化為自然流暢的語音數據，並結合先進的唇形同步技術和計算機圖像處理技術，將新生成的語音與視頻中的人物口型、表情等視覺元素精確匹配，最終輸出包含翻譯後語音的新視頻。
運行機制
1、數據預處理階段：當用戶上傳視頻後，算法會對該視頻內容進行內容安全審核，審核通過後，會對視頻內容進行去噪、增強、解析度調整等操作，以便深度學習模型中的自動語音識別(ASR)模組準確識別語音內容；2、語音識別階段：算法使用自動語音識別(ASR)模組對視頻中的音頻流進行處理，提取出源音頻的語音內容並轉化為可編輯的文本內容。3、機器翻譯階段：編輯完成後的文本信息被輸入到機器翻譯(MT)模組中，該模組利用自注意力機制分析文本信息的句子結構，並生成目標語言的翻譯結果，確保語義準確無誤；算法會對翻譯結果進行內容安全審核，確保翻譯內容不包含敏感信息。4、語音合成階段：算法使用語音合成(TTS)模組將通過內容安全審核的文本根據目標語言的發音規則和音色特點，生成對應的自然流暢的語音數據，同時考慮韻律、語調和情感等因素以實現高保真度的語音輸出。生成的語音數據也會進行內容安全審核，確保不會生成敏感內容。5、視聽同步融合階段：在保持原始視頻中的視覺元素（如人物口型、動作、背景等）不變的情況下，將新生成並通過內容安全審核的語音數據與視頻畫面精確同步匹配，最終輸出包含翻譯語音且視聽一致的新視頻檔案。6、結果後處理階段：算法對生成的新視頻檔案進行後處理，包括幀率調整、色彩校正等操作，以確保輸出視頻的質量和觀感。7、結果輸出階段：後處理完成後的視頻檔案被輸出到客戶端，供用戶查看。
套用場景
套用於“語映”APP 和網站中。
算法目的
該算法致力於構建一種創新的全球化工具，通過自動化處理簡化視頻翻譯流程，推動多媒體內容在多元文化環境下的無障礙傳播與互動。
