RPG(Pika北大斯坦福聯合推出)

RPG（Recaption，Plan and Generate），Pika北大斯坦福聯合推出的開源文生圖框架，利用多模態LLM的能力成功解決文生圖兩大難題。

基本介紹

• 中文名：RPG
• 發表日期：2024年2月
• 屬性：開源文生圖框架
• 研究人員：Pika、北大、斯坦福

簡介

RPG，一個全新的免訓練文本到圖像生成/編輯框架，利用多模態大語言模型（MLLM）強大的思維鏈推理能力，來增強文本到圖像擴散模型的組合性。採用MLLM作為全局規劃器，將複雜圖像的生成過程分解為子區域內多個更簡單的生成任務。

簡單來說，就是能讓文生圖模型在面對「多個屬性和關係的多個對象的複雜文本提示」時表現更出色。

發展歷史

2024年2月，北大、斯坦福、以及Pika Labs聯合發表了一項研究（RPG框架），將大模型文生圖的能力提升到了新的高度。