研律人臉融合生成算法是合肥研律網路科技有限公司旗下的深度合成服務算法。該算法依託於視頻換臉秀(APP)、視頻換臉/視頻換臉秀/AI換臉/視頻換臉秀秀(APP)、視頻換臉(APP)、視頻換臉秀秀(APP),主要套用於圖像、視頻生成場景,根據用戶上傳的源圖像和目標圖像,融合兩者面部特徵,生成融合後的人臉圖像或視頻。
2024年6月,國家網際網路信息辦公室發布第六批境內深度合成服務算法備案清單,研律人臉融合生成算法在列。
基本介紹
- 中文名:研律人臉融合生成算法
- 備案號:340102208532401240021
- 角色:服務提供者
- 開發主體:合肥研律網路科技有限公司
運行機制,套用場景,算法目的,
運行機制
前處理階段使用人臉檢測模組,分別檢測出源圖像和目標圖像中的人臉區域,並分別裁剪到固定尺寸,作為模型的輸入;模型由一個 ID 特徵提取模組,一個屬性特徵提取模組,一個生成器網路,和一個判別器網路組成,ID 特徵提取模組用於提取源圖像的人臉 ID 特徵信息,屬性特徵提取模組用於提取目標圖像不同尺度的人臉屬性特徵,通過生成器網路將以上提取的兩個特徵信息進行多尺度的融合,輸出合成的人臉圖像/視頻,判別器網路用於判別生成的人臉是否具有真實感,用於提升生成的人臉質量,整個網路通過多種損失函式來訓練約束,從而保證最終生成結果的逼真效果;後處理模組將模型生成的圖像無縫拼接回原始的目標圖像/視頻,得到最終合成的融合結果。
套用場景
1/影視後期製作:在影視後期製作時,因為某些原因需要替換演員,通過視頻換臉秀 APP,可利用前期拍攝素材進行處理,讓前期視頻素材中的人物看起來是新的演員在表演,可以為製片方節省大量的重新拍攝成本。2/娛樂性短視頻製作:用戶可以將已獲授權的合法視頻中的人物,通過視頻換臉秀 APP,換成自己的人臉,生成趣味性視頻。3/虛擬試衣製作:在婚紗攝影、民族服飾、漢服、仿妝等試衣場景,通過視頻換臉秀 APP 進行服飾虛擬試穿。4/電商數字人直播:在電商賣貨帶貨直播場景,通過視頻換臉秀APP 換臉實現數字人直播帶貨、虛擬人換臉。
算法目的
在獲得用戶授權的前提下,通用視頻人臉融合能力可以將視頻中檢測到的最大人臉,融合進另一個人的人臉特徵,達到換臉的感官效果。通用視頻人臉融合只需要輸入一張帶融合人臉圖像與一段視頻,就可以將圖像人臉融合進視頻中。