阿里雲視覺智慧型開放平台生成式動漫化卡通化算法是杭州耘點科技有限公司推出的深度合成服務算法。該算法套用於圖像生成場景，服務於企業端客戶，根據用戶輸入的真實人物圖像，生成保留原圖內容結構信息和融合特定卡通風格的動漫化圖像。
2024年4月，阿里雲視覺智慧型開放平台生成式動漫化卡通化算法通過備案。
基本介紹
- 軟體名稱：阿里雲視覺智慧型開放平台生成式動漫化卡通化算法
- 開發商：杭州耘點科技有限公司
- 備案號：網信算備330106003156001240041號
算法原理,運行機制,套用場景,算法目的,
算法原理
該算法基於可控圖像生成算法對輸入一張真實人像進行卡通化重繪，生成保留原圖內容結構信息和融合特定卡通風格的動漫化或者卡通化輸出圖片。本算法所使用的可控圖像生成算法由擴散生成模型和 ControlNet 控制模型組成，以達到控制圖像內容結構並融合特定動漫化/卡通化風格的目的。
運行機制
該算法由多個模組組成，包括自動標籤與自動提示詞工程、控制信息生成以及基於擴散模型的可控生成。以下將對每個模組進行詳細描述。首先，自動標籤生成與提示詞工程模組用於生成真實人像圖片的自動描述標籤。通過使用自動標籤模型，可以描述圖像的基本內容和組成。為了進一步最佳化這些標籤，還進行了一些針對性的提示詞工程處理，以生成後續使用的提示詞。
其次，該算法還使用了 Canny 提取器和姿態檢測器來提取真人圖像的Canny 信息圖和姿態信息圖。Canny 信息圖包含了圖像邊緣特徵，而姿態信息圖則包含了軀體結構、臉部結構和手部結構等方面的信息。這些信息圖將在後續的生成過程中作為控制信息輸入到帶有控制網路的擴散模型中:獲取了上述控制信息和提示詞後，本算法將真實人像圖片、提示詞以及控制信息(包括 Canny信息圖和姿態信息圖)輸入到預訓練的StableDiffusion 擴散模型中進行推理。這個擴散模型具有多個控制網路，可以根據輸入的控制信息生成卡通化的結果。為了滿足特定卡通風格的需求，該Stable Diffusion 擴散模型事先在卡通人像數據集中進行了訓練。
通過這個算法，我們能夠自動生成具有卡通風格的人像圖片。這種方法可以通過控制信息和提示詞來實現對卡通化過程的定製化。這為卡通風格的圖像生成提供了一種有效且可控的解決方案。
套用場景
1.隱私保護
為保護圖像中的人物隱私，將人物卡通化，可避免識別出原人物是誰。與馬賽克等處理方法相比，更具趣味性，更易於用戶接受提升用戶體驗。可用於安防、新聞媒體等場景。
2.趣味圖片處理
上傳人像照片，即可生成專屬動漫化形象，塑造可愛氛圍，可用於互動推廣趣味相冊等套用場景。可用於娛樂、互動行銷等場景。
3.社交軟體頭像生成
用戶可上傳自拍照，根據個人喜好指定卡通畫風格，生成對應社交軟體頭像圖片，可玩性較高。
算法目的
阿里雲視覺智慧型開放平台生成式人像卡通化算法技術提供者在獲得用戶授權的前提下，生成式人像卡通化可以將用戶上傳的人像照片重繪成對應風格的卡通圖片，達到卡通化的感官效果。
