多彩寶人臉融合合成算法

算法簡介

“多彩寶人臉融合合成算法”套用於圖像生成場景，根據用戶上傳的人臉圖片或視頻，將用戶上傳的目標人臉圖片與模板中的人臉圖片進行面部融合，生成換臉圖片。該算法的套用產品是“多多風景眼”（小程式）。

2024年4月，國家網際網路信息辦公室發布第五批境內深度合成服務算法備案清單，“多彩寶人臉融合合成算法”在列。

該算法是一種用於人臉編輯的AI生成技術。其基於生成對抗技術、人臉檢測關鍵點技術、人臉特徵識別技術，通過對圖像人臉數據進行預訓練，能夠自適應地提取和學習圖像的屬性特徵和ID特徵，實現對任意兩張圖像的端到端快速融合，無需額外單獨訓練。通過進一步引入對視頻幀間的處理能力，能夠延伸到對視頻場景的人臉融合。

1. 用戶上傳包含人臉的材料，形式可以為1-5張圖片或1段視頻，作為“原始輸入數據”；選取畫質不得低於128x128的圖片，視頻經過幀間剪輯，形成5張不低於128x128的圖片，剪輯幀率不低於24fps，此類數據作為“輸入數據”；

2. 輸入數據經過安全過濾，判斷是否通過安全篩選，若不通過則不進行數據生成，直接返回兜底安全結果，即向客戶反饋不滿足要求需重新上傳的提示；

3. 若輸入數據通過安全篩選，系統會提示客戶選取希望換臉的圖像，即目標圖像；

4. 將輸入數據與目標圖像進行對照，分別檢測輸入圖像和目標圖像中的人臉區域，並分別裁剪到128x128尺寸；

5. 如果用戶僅上傳一張照片作為輸入數據，算法將計算輸入數據中的人臉照片特徵，並用512維的向量（embedding）來表示這些特徵；若用戶上傳多張照片，則每張照片計算出一個embedding向量，並採用平均值作為輸入數據最終的embedding。

6. 同樣的方式提取目標圖像的人臉特徵（landscape）的向量。將輸入數據的embedding與目標圖像的landscape向量放入算法中，算法通過計算將目標圖像人臉轉換到底圖人臉上，完成第一次換臉。

7. 通過放大算法，將完成第一次換臉的圖片從128x128高清修復到原圖大小；

8. 將第一次換臉後的圖片與輸入數據進行相似度判斷，本算法的相似度判斷採用距離函式。若相似度低於80%則提醒用戶再次上傳圖片，重複2-7步驟進行第二次換臉，直到相似度≥80%，輸出換臉圖片作為輸出數據；

9. 輸出數據經過安全過濾判斷是否通過安全篩選，通過則返回圖片結果，不通過則重複2-8步驟，直到通過安全篩選，返回圖片結果；

10. 若客戶輸入的是視頻，則將生成的圖片進行視頻合成，合成幀率為24fps。