天工圖生文算法-1

天工圖生文算法-1是崑崙萬維科技股份有限公司旗下的深度合成服務算法。該算法套用於智慧型對話場景，服務於企業端客戶，根據用戶輸入的文本和圖像，結合圖像內容，生成符合用戶需求的文本回復。

2024年6月，國家網際網路信息辦公室發布第六批境內深度合成服務算法備案清單，天工圖生文算法-1在列。

基本介紹

• 中文名：天工圖生文算法-1
• 備案號：110108604314601240067
• 角色：服務技術支持者
• 開發主體：崑崙萬維科技股份有限公司

算法原理

天工圖生文算法-1 是一種基於深度學習的生成模型，採用了 Transformer+VQVAE架構。該架構由自注意力機制和前饋神經網路組成。 自注意力機制能夠捕捉輸入序列中不同位置的依賴關係，使模型能夠關注到相關的上下文信息。前饋神經網路則能夠進行複雜的非線性映射，進一步提升模型的表達能力。該模型通過豐富的圖像-文本對進行訓練，能夠同時學習模態間和模態內的多種關聯性，提升“圖像”和“文本”跨模態語義匹配效果，從而增強文本和圖像的跨模態語義對齊。它以自然語言描述作為輸入，輸出與該描述相匹配的高質量圖像。

運行機制

模型在訓練和推斷階段都需要高性能計算設備的支持。在訓練階段，模型基於從網際網路上抓取的大量圖像-文本數據對進行訓練，以學習圖像數據和文本數據的映射關係；模型也可以對特定任務或數據集進行微調，提高模型在特定任務上的性能。在推斷階段， 模型首先將用戶輸入的文本轉換成圖像空間的語言向量，然後將這些向量轉換成與輸入文本描述相匹配的高質量圖像。

套用場景

天工圖生文算法-1 可套用於多個領域和場景。它通過將自然語言描述轉換為視覺內容，極大地豐富了人工智慧在創意娛樂、輔助設計、線上教育、虛擬現實等多個領域的套用

算法目的

天工圖生文算法-1 提供了強大的圖像生成能力，將語言描述轉化為視覺內容，從而拓展人類交流和表達的邊界。文生圖算法為人工智慧在娛樂、教育、設計、廣告等多個領域的套用提供了新的可能性，豐富了人工智慧技術的套用場景。另外，文生圖算法促進了文本、圖像兩種模態信息的互動，為多媒體信息的處理和理解提供了新的途徑。