RPG(開源文生圖框架)

RPG是北大、斯坦福、以及Pika Labs聯合研發的新開源文生圖框架。

2024年2月17日報導，北大、斯坦福、以及Pika Labs發布了新的開源文生圖框架，利用多模態LLM的能力成功解決文生圖兩大難題，表現超越SDXL和DALL·E 3。

基本介紹

• 外文名：RPG
• 類型：開源文生圖框架

發展歷程

2024年2月17日報導，北大、斯坦福、以及Pika Labs發布了新的開源文生圖框架，利用多模態LLM的能力成功解決文生圖兩大難題，表現超越SDXL和DALL·E 3。

框架使用

給出多個屬性和關係的多個對象，模型會給出整個畫面的結構、人與物品的關係。

一個穿著橙子連衣裙的綠色雙馬尾女孩坐在沙發上，左邊的大窗戶下

區別對比

面對關係複雜的多個對象，模型給出的整個畫面的結構、人與物品的關係都非常合理，使觀者眼前一亮。

此外，還可以將區域擴散擴展為分層格式，將特定子區域劃分為更小的子區域。

如下圖所示，當增加區域分割的層次結構時，RPG可以在文本到圖像的生成方面實現顯著的改進。這為處理複雜的生成任務提供了一個新的視角，使我們有可能生成任意組成的圖像。