Lumiere(Google發布的文生視頻大模型)

Lumiere是Google的文生視頻大模型，於2024年正式發布。

基本介紹

• 外文名：Lumiere
• 研發公司：Google
• 發布時間：2024年
• 類型：文生視頻大模型

功能特色

Google Lumiere是一個基於文本到視頻的擴散模型，通過訓練海量文本和視頻數據，可以將文字描述直接轉化為高質量、真實、多樣且連貫動作的視頻。與傳統綠幕技術和繁瑣的手動動畫過程相比，Lumiere讓創作者只需通過文字描述場景與動態，就能輕鬆製作出流暢自然、引人入勝的視頻內容。

技術特點

Lumiere的時空擴散U-Net架構可以生成整個視頻的所有時間段，提高動作連貫性和時間一致性。它採用Multidiffusion最佳化方法將視頻序列分割成多個時間視窗，並在每個時間視窗內進行空間超解析度計算，最佳化記憶體需求。

產生影響

Lumiere模型在文本生成視頻領域帶來了革命性的變革，提高了生成視頻的質量和動作連貫性，最佳化了模型的記憶體需求和計算效率，為視頻生成領域帶來更多可能性，手機製作電影或許不再遙遠。