中科大洋文生圖內容生成算法-1

中科大洋文生圖內容生成算法-1是北京中科大洋科技發展股份有限公司推出的深度合成服務算法。

基本介紹

• 軟體名稱：中科大洋文生圖內容生成算法-1
• 開發商：北京中科大洋科技發展股份有限公司
• 備案號：網信算備110108617937401240017號

算法簡介

中科大洋文生圖內容生成算法-1套用於圖像生成場景，根據用戶輸入的文本、圖像數據，生成符合用戶需求的圖像內容。主要用於大洋智慧型化稿件生產平台（其他）。2024年4月，中科大洋文生圖內容生成算法-1備案通過。

算法原理

中科大洋文生圖內容生成算法基於開源 Stable Diffusion 模型架構，在隱式圖像空間中採用擴散算法，支持以文本提示和參考圖片作為控制條件，對隨機初始噪聲輸入進行多步降噪，可以得到一組與輸入文本提示或參考圖片匹配的隱式空間的圖片，然後再解碼到顯式圖像空間，得到正常的圖片。

運行機制

1) 用戶輸入用來生成圖片的提示文本和可選的參考圖片。對文本和圖片分別使用文本分類模型、圖片分類模型進行內容安全檢測。安全檢測不通過時，提示用戶修改輸入。2) 對提示文本進行向量編碼後作為生成控制條件，將可選參考圖片進行隱式編碼，並增加隨機噪聲，作為初始輸入。3) 模型採用擴散算法，在輸入文本向量的控制下，對隱式圖像空間的初始輸入進行多輪降噪處理，然後將生成的圖片解碼到顯式圖像空間。4) 對模型生成的圖片使用圖片分類模型進行內容安全檢測，只返回內容安全的圖片。

套用場景

1) 在文本編輯創作領域，可以使用文生圖為文本生成配圖，得到圖文並茂的文章。2) 在圖片藝術創作領域，可以使用文生圖輔助創作圖片。

算法目的

支持用戶以文本描述方式生成符合要求的圖片，激發用戶創意、簡化用戶的工作量、提高工作效率。