kreadoAI生成內容算法是西安點告網路科技有限公司旗下的算法，主要套用於數字人視頻生成場景，根據用戶輸入的視頻和音頻，生成數字人形象的新唇形視頻。該算法依託於AIGC數字行銷創作平台(網站)，主要套用於數字人視頻生成場景，根據用戶輸入的視頻和音頻，生成數字人形象的新唇形視頻。
2024年6月，國家網際網路信息辦公室發布第六批境內深度合成服務算法備案清單，其中包括“kreadoAI生成內容算法”。
基本介紹
- 中文名：kreadoAI生成內容算法
- 角色：服務提供者
- 備案號：網信算備610102726918801240017號
- 開發主體：西安點告網路科技有限公司
算法原理,運行機制,套用場景,算法目的,
算法原理
1. 真人數字人服務相關。人臉檢測，使用了開源的人臉檢測 sf3d 算法模型，主要針對人臉位置的檢測和對齊。唇形合成，使用了 wav2lip 算法模型，主要針對音頻特徵對目標人物的唇形進行合成，整個模型中涉及到了卷積神經網路和生成對抗神經網路。視頻的讀取和合成，使用了 opencv 和 ffmpeg 對視頻進行了逐幀讀取，同時將合成好的每一幀進行視頻合成，輸出最終的.mp4 視頻檔案。
2．AI 模特生成服務相關。AI 模特生成算法模型，採用卷積神經網路（CNN）精準提取用戶面部及假髮樣式的關鍵特徵。CNN 通過其對圖像數據的高效處理能力，確保了從基本的邊緣檢測到複雜的特徵識別的精確度。隨後，這些特徵數據被輸入到擴散模型（DiffusionModels）中，該模型通過模擬物理過程中的擴散與反擴散步驟，逐步從初始的隨機噪聲狀態構建出具有高度細節和自然視覺效果的假髮試戴圖像。此外，穩定擴散模型（Stable Diffusion Models）的套用進一步最佳化了圖像生成的穩定性和一致性。
運行機制
帶有人物的原始視頻->逐幀讀取視頻信息->人臉檢測/對齊->音頻特徵提取->根據音頻特徵生成新唇形視頻幀->幀合成
套用場景
KreadoAI 套用在商旅推薦、電商購物、套用下載、教育培訓、企業服務等領域。
算法目的
AI 視頻創作相關算法模型包括真人數字人唇形合成算法和照片數字人音頻驅動算法,用戶可以通過提供文案來進行真人/照片數字人的視頻合成；AI 模特算法基於大模型進行二次訓練和調優，實現商品的高度還原和美化，模特風格和場景風格匹配融合，並在模特形象一致性及專屬定製化方面進行算法模型研發。
