書生·浦語靈筆（英文名：InternLM-XComposer）是上海人工智慧實驗室推出的首個圖文混合創作大模型，依託強大的多模態性能，浦語靈筆接受視覺和語言模態輸入，更具備圖文並茂文章的“一鍵生成”能力。
2024年1月17日上海人工智慧實驗室發布書生·浦語2.0（InternLM2）大語言模型之後，推出全面升級的圖文混合創作大模型書生·浦語靈筆2.0（InternLM-XComposer2），圖文理解和創作能力顯著提升，可為用戶提供更精準、更個性、更豐富、更專業的圖文創作體驗，在12項圖文能力評測中大幅領先同量級開源模型，在部分維度可比肩國際領先水平。書生·浦語靈筆2.0開源了圖文創作大模型（InternLM-XComposer2-7B）和它背後的圖文理解與問答模型（InternLM-XComposer2-VL-7B），由上海人工智慧實驗室提供免費商用。
基本介紹
- 中文名：書生·浦語靈筆
- 外文名：InternLM-XComposer
- 所屬品牌：書生·浦語
- 產品類型：人工智慧
套用能力,
套用能力
【精準】浦語靈筆2.0可準確理解自然語言指令，用戶可通過輸入內容梗概、文章大綱、關鍵字等框架和要點，實現對文章內容更精準的控制。【個性化】支持用戶定製化素材輸入，為實現用戶的個性化創作需求，浦語靈筆2.0支持用戶上傳圖像和文本素材，並根據用戶要求，使用規定素材定製圖文文章，保證用戶的內容原創性需求。【豐富性】支持各種體裁、場景的內容需求，可生成如知乎問答、小紅書筆記等網路跟帖、實用公文、節日祝福、古體詩等多樣化風格的內容類型，滿足不同場景的使用需求。【專業】提供完善的圖文內容編輯工具，對文章內容縮寫、擴寫、根據用戶指令改寫等，通過提升互動能力，助力用戶高效創作。
書生·浦語靈筆支持多體裁多場景內容需求
能力解讀：
1、圖文理解能力顯著提升，多項表現比肩多模態模型標桿
在大模型評測平台OpenCompass的創作能力評測集CreationBench上，浦語靈筆2.0的平均成績接近GPT-4，其中“內容豐富度”單項評測中，表現超越了GPT-4，並綜合領先其他高性能開源模型。
2、全新多模態架構Partial-LoRA
浦語靈筆2.0可以同時兼顧圖文創作和多模態理解能力，得益於浦語靈筆團隊提出的全新多模態模型架構Partial-LoRA (P-LoRA)。在此架構下，對於輸入的文字詞牌（Text Token），P-LoRA使用原本模型結構進行推理；對於圖像編碼（Image Token），通過額外的P-LoRA參數賦予模型對圖像內容的深刻理解。通過上述方式使模型在實現多模態性能領先的同時，高效地保留了語言基座的能力。
