天工圖生文算法

天工圖生文算法是崑崙萬維科技股份有限公司旗下的深度合成服務算法。該算法依託於天工AI助手(APP)、天工AI搜尋(小程式)、天工AI助手(網站)，套用於智慧型對話場景，根據用戶輸入的文本和圖像，結合圖像內容，生成符合用戶需求的文本回復。

2024年6月，國家網際網路信息辦公室發布第六批境內深度合成服務算法備案清單，天工圖生文算法在列。

基本介紹

• 中文名：天工圖生文算法
• 角色：服務提供者
• 開發主體：崑崙萬維科技股份有限公司
• 備案號：110108604314601240059

算法原理

天工圖生文算法是一種基於深度學習的生成模型，採用了 ViT+Transformer 架構。該架構由自注意力機制和前饋神經網路組成。自注意力機制能夠捕捉輸入序列中不同位置的依賴關係，使模型能夠關注到相關的上下文信息。前饋神經網路則能夠進行複雜的非線性映射，進一步提升模型的表達能力。該模型通過豐富的圖像-文本對進行訓練，能夠同時學習模態間和模態內的多種關聯性，提升“圖像”和“文本”跨模態語義匹配效果，從而增強文本和圖像的跨模態語義對齊和問答能力。它以圖片和自然語言問題作為輸入，輸出與該問題相應的文本回答。

運行機制

模型在訓練和推斷階段都需要高性能計算設備的支持。在訓練階段，模型基於從網際網路上抓取的大量圖像-文本數據對進行訓練，以學習圖像數據和文本數據的映射關係；模型也可以對特定任務或數據集進行微調，提高模型在特定任務上的性能。在推斷階段， 模型首先將用戶輸入的圖像轉換成隱式表征，並與文本結合輸入到大模型中，最終產出文本回答回響。

套用場景

天工圖生文算法可套用於多個領域和場景。它通過將將視覺內容轉化為自然語言描述，極大地豐富了人工智慧在創意娛樂、社交媒體、線上教育、虛擬現實等多個領域的套用。

算法目的

天工圖生文算法提供了強大的圖片解析能力，將視覺內容轉化為文字信息。圖生文算法為人工智慧在娛樂、教育、設計、廣告等多個領域的套用提供了新的可能性，豐富了人工智慧技術的套用場景。另外，圖生文算法促進了圖像到文本模態的轉化，為多媒體信息的處理和理解提供了新的途徑。