發展歷程
早期研發歷程
2019年3月16日,百度正式發布知識增強的文心大模型ERNIE 1.0,該模型基於飛槳深度學習平台打造,通過將數據與知識融合,提升了大模型學習效率及學習效果。
2019年7月31日,百度文心大模型升級到2.0。ERNIE 2.0通過持續學習框架,持續學習大規模語料中的詞法、語法、語義等知識,在總計16箇中英文任務上取得全球最好效果。
2020年7月9日,文心大模型(ERNIE)榮獲世界人工智慧大會WAIC最高獎項SAIL獎。
2021年7月6日,百度官方訊息,百度發布文心大模型 3.0(ERNIE 3.0)。ERNIE 3.0首次在千億級預訓練模型中引入大規模知識圖譜,ERNIE 3.0刷新54箇中文NLP任務基準,並在國際權威的複雜語言理解評測SuperGLUE上, 以超越人類水平0.8個百分點的成績登頂全球榜首。
2019年-2022年,文心大模型(ERNIE)在語言理解、文本生成、跨模態語義理解等領域取得多項技術突破,在公開權威語義評測中斬獲了十餘項世界冠軍。
發布歷程
2023年2月7日,百度官宣新一代大語言模型文心一言(英文名: ERNIE Bot)。百度全棧布局人工智慧四層架構,包括晶片層、框架層、模型層和套用層。文心一言,位於模型層。
2023年2月13日,百度官微訊息,文心一言將於3月和大家正式見面。
2023年3月16日,百度新一代大語言模型文心一言正式啟動邀測。
2023年3月16日,百度北京總部召開新聞發布會,主題圍繞新一代大語言模型文心一言。百度創始人、董事長兼執行長李彥宏及百度首席技術官、深度學習技術及套用國家工程研究中心主任王海峰出席,並展示了文心一言在文學創作、商業文案創作、數理推算、中文理解、多模態生成五個使用場景中的綜合能力。
2023年4月16日,百度首席技術官、深度學習技術及套用國家工程研究中心主任
王海峰再次做客
CCTV-2 《
中國經濟大講堂》,闡釋文心一言這類大語言模型的產品能力、技術原理和產業價值。
2023年4月17日,百度官微發文稱文心一言在百度內部全面套用在智慧型工作平台“如流”。
2023年5月4日,百度創始人、董事長兼執行長
李彥宏在內部“新使命六周年暨百度驕傲頒獎典禮”發言:文心一言內測一個多月,就完成了4次大的技術升級,大模型推理成本已經降到了原來的十分之一,推理性能提升近10倍。
2023年5月26日,百度創始人、董事長兼執行長李彥宏在2023中關村論壇發表題為《大模型改變世界》演講。他表示百度很快還會推出文心大模型3.5版本。
2023年6月26日,百度創始人、董事長兼執行長李彥宏出席“世界網際網路大會數字文明尼山對話”,發表了題為《大模型重塑數字世界》的演講。提到文心大模型已經疊代到3.5版本,與3月份的3.0版本相比,訓練速度提升了2倍,推理速度提升了17倍,模型效果累計提升超過50%。
2023年6月27日,百度首席技術官、深度學習技術及套用國家工程研究中心主任王海峰接受採訪,詳細解讀了文心3.5在技術和工程上的升級。據了解,與文心大模型3.0相比,3.5版本不僅在創作、問答、推理和代碼能力上全面升級,安全性顯著提升,訓練和推理速度也大幅提升。功能方面,文心大模型最大的一個變化是新增了外掛程式機制。
2023年8月16日,WAVE SUMMIT深度學習開發者大會訊息,文心一言已上線五個官方原生外掛程式:百度搜尋(使模型具備生成實時準確信息)、覽卷文檔(基於文檔的長文本摘要和問答)、E言易圖(數據洞察和圖表製作)、說圖解畫(基於圖片的創作和問答)、一鏡流影(文生視頻能力)。據介紹,文心一言目前可以支持一次同時使用3個外掛程式,不但擴展了大模型能力邊界,也更適應場景需要 。
2023年8月31日,文心一言率先向全社會全面開放。開放首日,文心一言總計回復網友超3342萬個問題。
2023年9月18日晚,文心一言大語言模型作為科技創新成果代表登上《新聞聯播》。
2023年10月17日,百度世界2023大會上,
李彥宏宣布文心大模型4.0正式發布,開啟邀請測試。文心大模型4.0是迄今為止最強大的文心大模型,實現了基礎模型的全面升級,在理解、生成、邏輯和記憶能力上都有著顯著提升。
2023年10月28日,
中國計算機大會上百度首席技術官、深度學習技術及套用國家工程研究中心主任王海峰表示,文心一言發布至今,文心大模型4.0訓練算法效率提升3.6倍,周均訓練有效率超過98%,推理性能提升50倍。
2023年11月1日,文心一言專業版正式上線。文心一言官網顯示,專業版會員連續包月費用為49.9元,單月購買為59.9元。此次專業版會員服務對應的模型版本是文心大模型4.0,而文心大模型3.5仍可免費使用。
2023年11月8日,世界網際網路大會上,百度知識增強大語言模型關鍵技術榮獲“世界網際網路大會領先科技獎”。百度首席技術官、深度學習技術及套用國家工程研究中心主任王海峰披露,文心一言用戶規模現已達到7000萬,場景4300個。
2023年12月,國內首個官方大模型評測結果出爐,文心一言通過評測。
2023年12月28日訊息,百度首席技術官(CTO)王海峰表示,文心一言用戶規模超過1億,飛槳開發者達到1070萬。
2024年1月17日,由粵澳工商聯會和百度聯合主辦的“百度‧澳門AI戰略合作簽署儀式暨文心一言App澳門智慧城市發布會”在澳門舉辦。
2024年1月,集微網訊息,三星電子將在中國推出的Galaxy S24系列智慧型手機中集成百度的人工智慧(AI)大語言模型文心一言(Ernie Bot),這將成為其新款手機系列的主要亮點。
2024年2月,據百度官微訊息,目前文心一言APP正在內測數字分身新功能,2月2日起,iOS和Android用戶升級新版本後,均可免費使用該功能。
2024年3月訊息,百度文心一言4月將進行版本升級,屆時也將開放長文本能力,文字範圍會在200萬-500萬。目前,文心一言的文本上限大致在2.8萬字。
2024年4月8日晚,百度官微宣布,文心一言正式上線語音定製功能。
2024年4月16日,百度創始人、董事長兼執行長李彥宏在Create 2024百度AI開發者大會上表示,文心一言用戶數已超2億,API日均調用量也突破了2億,服務客戶數8.5萬,千帆平台AI原生套用數超過19萬。
模型能力
文心一言是新一代知識增強大語言模型,能夠與人對話互動、回答問題、協助創作,高效便捷地幫助人們獲取信息、知識和靈感。文心一言從數萬億數據和數千億知識中融合學習,得到預訓練大模型,在此基礎上採用有監督精調、人類反饋強化學習、提示等技術,具備知識增強、檢索增強和對話增強的技術優勢。
五個場景綜合能力
2023年3月16日文心一言新聞發布會上,百度創始人、董事長兼執行長李彥宏及百度首席技術官、深度學習技術及套用國家工程研究中心主任王海峰展示了文心一言在文學創作、商業文案創作、數理推算、中文理解、多模態生成五個使用場景中的綜合能力。
文心一言根據對話問題將知名科幻小說《三體》的核心內容進行了總結,並提出了五個續寫《三體》的建議角度,體現出對話問答、總結分析、內容創作生成的綜合能力。此外,文心一言準確回答了《三體》作者、電視劇角色扮演者等事實性問題。生成式AI在回答事實性問題時常常“胡編亂造”,而文心一言延續了百度知識增強的大模型理念,大幅度提升了事實性問題的準確率。面對“于和偉和張魯一有哪些共同點”、“于和偉和張魯一誰更高”這類問題,文心一言也基於推理能力得出了正確答案。
文心一言順利完成了給公司起名、寫Slogan、寫新聞稿的創作任務。連續三次內容創作生成中,文心一言既能準確理解人類意圖,又能清晰地表達,這是基於龐大數據規模而發生的“智慧型湧現”。
文心一言還具備了一定的思維能力,能夠學會數學推演及邏輯推理等相對複雜任務。面對“雞兔同籠”這類鍛鍊人類邏輯思維的經典題,文心一言能理解題意,並有正確的解題思路,進而像學生做題一樣,按正確的步驟,一步步算出正確答案。
作為紮根於中國市場的大語言模型,文心一言具備中文領域最先進的自然語言處理能力,在中文語言和中國文化上有更好的表現。在現場展示中,文心一言正確解釋了成語“洛陽紙貴”的含義、“洛陽紙貴”對應的經濟學理論,還用“洛陽紙貴”四個字創作了一首藏頭詩。
百度創始人、董事長兼執行長李彥宏現場展示了文心一言生成文本、圖片、音頻和視頻的能力。文心一言甚至能夠生成四川話等方言語音。
文心大模型 4.0
2023年10月17日百度世界大會上,文心大模型 4.0 正式發布。百度創始人、董事長兼執行長李彥宏表示,這是迄今為止最強大的文心大模型,實現了基礎模型的全面升級,在理解、生成、邏輯和記憶能力上都有著顯著提升,綜合能力“與 GPT-4相比毫不遜色”。 文心大模型 4.0的理解、生成、邏輯、記憶四大能力都有顯著提升,其中理解和生成能力的提升幅度相近,而邏輯和記憶能力的提升則更大,邏輯的提升幅度達到理解的近 3 倍,記憶的提升幅度也達到了理解的 2 倍多。
基於文心大模型4.0,百度創始人、董事長兼執行長李彥宏依次演示了四大能力的特點與套用場景。
在理解能力上,他通過詢問公積金異地貸款政策的案例,展示了文心一言對前後亂序、模糊意圖、潛台詞等複雜提示詞的理解力,例如“在北京工作”等同於“在北京繳納公積金”等等,“今天,你說的每一句話,它大機率都能聽懂”。
在生成能力上,李彥宏展示了文心一言如何在短短几分鐘內,根據一張素材圖片,迅速生成了一組廣告海報、五條廣告文案以及一條行銷視頻。據介紹,基於這一系列能力,百度已經推出了AIGC行銷創意平台擎舵,讓“一個人就成為一支AI行銷隊伍”。
同時,他還通過解數學題、總結知識點等場景,展示了大模型的邏輯能力;通過數千字的小說撰寫和角色、情節設定,體現了大模型的記憶能力;以及數字人醫生幫助患者解讀藥品說明書,來展現四大能力的綜合套用。
文心大模型4.0在多個關鍵技術方向上進一步創新突破。在萬卡算力上運行飛槳平台,通過集群基礎設施和調度系統、飛槳框架的軟硬協同最佳化,支持了大模型的穩定高效訓練。建設了多維數據體系,形成了數據挖掘、分析、合成、標註、評估閉環,充分釋放數據價值,大幅提升模型效果。基於有監督精調、偏好學習、強化學習等技術進行多階段對齊,保證模型更好地與人類的判斷和選擇對齊。可再生訓練技術通過增量式的參數調優,有效節省了訓練資源和時間,加快了模型疊代速度。
文心大模型4.0在輸入和輸出階段都進行知識點增強。一方面,對用戶輸入的問題進行理解,並拆解出回答問題所需的知識點,然後在搜尋引擎、知識圖譜、資料庫中查找準確知識,最後把這些找到的知識組裝進prompt送入大模型,準確率好,效率也高。另一方面,對大模型的輸出進行反思,從生成結果中拆解出知識點,然後再利用搜尋引擎、知識圖譜、資料庫,以及大模型本身進行確認,進而對有差錯的點進行修正。
在強大的基礎大模型的基礎上,百度進一步研製了智慧型體機制,包括理解、規劃、反思和進化,能夠做到可靠執行、自我進化,並一定程度上將思考過程白盒化,讓機器像人一樣思考和行動,自主完成複雜任務,在環境中持續學習實現自主進化。
官網介紹
文心一言官網向廣大用戶提供對話互動、內容創作、知識推理、多模態生成等模型能力,輔助用戶工作、學習、生活中的各類需求;並上線了一言百寶箱、新手引導、問題推薦、標題摘要、回答覆制、回答分享、歷史對話管理等功能,幫助用戶更便捷、深入地使用大語言模型;此外,文心一言官網還推出了多個原生外掛程式:如百度搜尋、覽卷文檔、E言易圖、說圖解畫等,進一步拓展了大語言模型的能力邊界,更廣泛地滿足用戶需要。
文心一言專業版則向用戶提供了更強大的文心大模型4.0、更豐富的圖片生成能力、更多的高階外掛程式、更長的輸入輸出、升級的產品界面等會員尊享權益,進一步發揮大語言模型對專業用戶的獨特價值。
產品功能
用戶可在一言百寶箱搜尋、瀏覽不同職業和場景的優質指令詞,學習指令撰寫技巧、使用符合自身需求的指令;用戶還可以查看當日熱門指令,收藏高頻使用的指令。
用戶可以在文心一言官網首頁點擊問題推薦模組,快速了解模型能力;此外,模型會根據用戶的問題,自動生成推薦問題,幫助用戶進一步發掘和滿足需求。
用戶可以對文心一言的回答進行複製、分享,還可以對歷史對話進行置頂、修改標題等操作;此外,模型也會自動摘要歷史對話的標題,幫助用戶快速定位過往對話。
衍生外掛程式
| 原ChatFile,可基於文檔完成摘要、問答、創作等任務,僅支持10MB以內文檔,不支持掃描件。 |
| 基於 Apache Echarts 為您提供數據洞察和圖表製作,目前支持柱狀圖、折線圖、餅圖、雷達圖、散點圖、漏斗圖、思維導圖(樹圖)。 |
| 基於圖片進行文字創作、回答問題,幫你寫文案、想故事。暫僅支持10MB以內的圖片。 |
| 由愛企查提供商業信息檢索能力,可用於查企業工商/上市等信息、查老闆任職/投資情況。 |
| TreeMind樹圖,新一代的AI人工智慧思維導圖軟體。我們提供智慧型思維導圖製作工具和豐富的模板,支持腦圖、邏輯圖、樹形圖、魚骨圖、組織架構圖、時間軸、時間線等多種專業格式。利用先進的AI技術,助您高效學習與工作。 |
| 基於圖片進行文字創作、回答問題,幫你寫文案、想故事、圖生圖。暫僅支持10MB以內的圖片。 |
| AI文字轉視頻,從主題詞、語句、段落篇章等文字描述內容,一鍵創作生成視頻。 |
| 深入分析文心一言的回覆內容,得出反饋建議、最佳化回復結果。當前只對文字創作和部分問答任務生效,暫不支持與其他外掛程式同時使用。 |
專業著作權益
技術優勢
百度在搜尋、人工智慧領域深耕20多年。自2010年起開始全面布局人工智慧,是全球為數不多、進行全棧布局的人工智慧公司。從崑崙晶片、飛槳深度學習平台、文心大模型到套用四層架構中,百度在技術棧的各層都有領先業界的關鍵自研技術,實現了層與層反饋,端到端最佳化,大幅提升效率。文心一言新一代大語言模型,位於模型層。
文心一言的關鍵技術包括有監督精調、人類反饋的強化學習、提示、知識增強、檢索增強和對話增強。前三項是這類大語言模型都會採用的技術,ERNIE和PLATO中已經有套用和積累,在文心一言中又有了進一步強化和打磨;後三項則是百度已有技術優勢的再創新,也是文心一言未來越來越強大的基礎。
知識增強 | 主要有“知識內化”和“知識外用”兩種方式。 知識內化是從大規模知識和無標註數據中基於語義單元學習,利用知識構造訓練數據,把知識學習到模型參數中; 知識外用則是引入外部多源異構知識,做知識推理、提示構建等。 |
---|
檢索增強 | 來自以語義理解與語義匹配為核心技術的新一代搜尋架構。通過引入搜尋結果,可以為大模型提供時效性強、準確率高的參考信息。 |
---|
對話增強 | 基於對話技術和套用積累,文心一言具備記憶機制、上下文理解和對話規劃能力,從而更好實現對話的連貫性、合理性和邏輯性。 |
---|