Llama3-V

Llama3-V，是斯坦福AI團隊主導的開源視覺大語言模型。

2024年6月，美國史丹福大學AI團隊主導的Llama3-V開源模型被證實套殼抄襲國內清華大學與面壁智慧型的開源模型“小鋼炮”MiniCPM-Llama3-V 2.5。斯坦福團隊的兩位作者就這一學術不端行為正式道歉，並撤下了模型。

基本介紹

• 外文名：Llama3-V
• 發布時間：2024年5月

發展歷史

2024年5月，一款名為Llama3-V的全新開源視覺大語言模型正式亮相。

關鍵特點

Llama3-V的關鍵特點包括：性能上優於LLaVA約10-20%，訓練成本控制在 500 美元以下，並且能夠與GPT4-V、Gemini Ultra和Claude3 等頂尖模型相媲美。此外，Llama3-V的權重、訓練和推理代碼將全部開源，鼓勵更多開發者參與到模型的開發和最佳化中。

爭議事件

• 抄襲中國大模型

2024年5月29日，斯坦福團隊在網路上宣傳只需500美元就可訓練出一個超越GPT-4V的SOTA多模態大模型。但很快就有人發現，該團隊的Llama3-V模型使用的模型結構和代碼與國內面壁智慧型團隊發布的MiniCPM-Llama3-V2.5極為相似。緊接著，國內團隊發現，Llama3-V可以識別出“清華簡”戰國古文字，“不僅對得一模一樣、連錯得都一模一樣”。而這一古文字數據為研究團隊花費數月從“清華簡”上逐字掃描並人工標註得來，並未對外公開。“實錘”之下，斯坦福團隊的抄襲也就無從分辯了。

• 道歉並撤下模型

當地時間2024年6月3日，Llama3-V團隊的兩位作者森德哈斯·沙瑪（Siddharth Sharma）和阿克沙·加格（Aksh Garg）在社交平台X上發布文章，向MiniCPM團隊正式道歉，表示會將Llama3-V模型從網路上撤下。在道歉信中，沙瑪和加格稱他們負責模型的宣發工作，該模型代碼的作者是穆斯塔法·阿爾賈德里（Mustafa Aljadery），但兩人在看到相關質疑後於6月2日詢問了阿爾賈德里，此後再也沒能聯繫上後者，於是決定發布道歉聲明。目前，阿爾賈德里的X賬號顯示“僅好友可見”，Llama3-V模型也已經從Hugging Face等開源平台上下架。不過，加格還在發布Llama3-V的Medium頁面上保留了一些描述和介紹，在開頭附上了道歉聲明。