ChatGLM2-6B

ChatGLM2-6B是智譜AI及清華KEG實驗室發布的中英雙語對話模型。

基本介紹

• 中文名：ChatGLM2-6B
• 發布單位：智譜AI及清華KEG實驗室 

發布歷程

2023年6月25日，ChatGLM2-6B 模型發布。

2023年7月，智譜AI及清華KEG實驗室決定，ChatGLM-6B和ChatGLM2-6B權重對學術研究完全開放，並且在完成企業登記獲得授權後，允許免費商業使用。

主要特性

在保留了初代模型ChatGLM-6B對話流暢、部署門檻較低等特性的基礎之上，又增加許多新特性：

• 更強大的性能：ChatGLM2-6B 使用了 GLM 的混合目標函式，經過了 1.4T 中英標識符的預訓練與人類偏好對齊訓練，評測結果顯示，相比於初代模型，ChatGLM2-6B 在 MMLU（+23%）、CEval（+33%）、GSM8K（+571%） 、BBH（+60%）等數據集上的性能取得了大幅度的提升。
• 更長的上下文：上下文長度由 ChatGLM-6B 的 2K 擴展到了 32K。
• 更高效的推理：推理速度相比初代提升了 42%，INT4 量化下，6G 顯存支持的對話長度由 1K 提升到了 8K。
• 更開放的協定：ChatGLM2-6B 權重對學術研究完全開放。

ChatGLM2-6B 使用了 Multi-Query Attention，提高了生成速度，同時也降低了生成過程中 KV Cache 的顯存占用。同時，ChatGLM2-6B 採用 Causal Mask 進行對話訓練，連續對話時可復用前面輪次的 KV Cache，進一步最佳化了顯存占用。