天工文生圖算法是崑崙萬維科技股份有限公司推出的深度合成服務算法。該算法套用於圖像生成場景，根據用戶輸入的文本，生成與輸入文本描述相匹配的圖像。主要用於天工AI助手（APP）、天工AI搜尋（小程式）、天工AI助手（網站）。
2024年4月，天工文生圖算法通過備案。
基本介紹
- 軟體名稱：天工文生圖算法
- 開發商：崑崙萬維科技股份有限公司
- 備案號：網信算備110108604314601240041號
算法原理,運行機制,套用場景,算法目的,
算法原理
天工文本生成圖像算法是一種基於深度學習的生成模型，採用了Transformer+VQVAE架構。該架構由自注意力機制和前饋神經網路組成。 自注意力機制能夠捕捉輸入序列中不同位置的依賴關係，使模型能夠關注到相關的上下文信息。前饋神經網路則能夠進行複雜的非線性映射，進一步提升模型的表達能力。該模型通過豐富的圖像-文本對進行訓練，能夠同時學習模態間和模態內的多種關聯性，提升“圖像”和“文本”跨模態語義匹配效果，從而增強文本和圖像的跨模態語義對齊。它以自然語言描述作為輸入，輸出與該描述相匹配的高質量圖像。
運行機制
模型在訓練和推斷階段都需要高性能計算設備的支持。在訓練階段，模型基於從網際網路上抓取的大量圖像-文本數據對進行訓練，以學習圖像數據和文本數據的映射關係；模型也可以對特定任務或數據集進行微調，提高模型在特定任務上的性能。在推斷階段， 模型首先將用戶輸入的文本轉換成圖像空間的語言向量，然後將這些向量轉換成與輸入文本描述相匹配的高質量圖像。
套用場景
天工文生圖算法可套用於多個領域和場景。它通過將自然語言描述轉換為視覺內容，極大地豐富了人工智慧在創意娛樂、輔助設計、線上教育、虛擬現實等多個領域的套用
算法目的
天工文生圖算法提供了強大的圖像生成能力，將語言描述轉化為視覺內容，從而拓展人類交流和表達的邊界。文生圖算法為人工智慧在娛樂、教育、設計、廣告等多個領域的套用提供了新的可能性，豐富了人工智慧技術的套用場景。另外，文生圖算法促進了文本、圖像兩種模態信息的互動，為多媒體信息的處理和理解提供了新的途徑。
