Qwen2,是阿里雲通義千問團隊開發的開源模型。Qwen 2是一套高級的基礎和預調語言模型，參數範圍從5億到720億。它包括密集模型和專家混合模型。
基本介紹
- 軟體名稱：Qwen2
- 開發商：阿里通義
模型特點,發展歷史,所獲成就,
模型特點
Qwen2系列包含5個尺寸的預訓練和指令微調模型，Qwen2-0.5B、Qwen2-1.5B、Qwen2-7B、Qwen2-57B-A14B和Qwen2-72B，其中Qwen2-57B-A14B為混合專家模型（MoE）。Qwen2所有尺寸模型都使用了GQA（分組查詢注意力）機制，以便讓用戶體驗到GQA帶來的推理加速和顯存占用降低的優勢。
發展歷史
2024年6月7日，阿里雲更新技術部落格：重磅發布開源模型Qwen2-72B，性能超過美國最強的開源模型Llama3-70B，也超過眾多中國閉源大模型。所有人均可在魔搭社區和Hugging Face免費下載通義千問最新開源模型。當日，Qwen2系列模型的API第一時間登入阿里雲百鍊平台。TensorRT-LLM、OpenVINO、OpenCompass、XTuner、LLaMA-Factory、Firefly、OpenBuddy、vLLM、Ollama等眾多全球開源平台和工具，也第一時間宣布支持Qwen2最新款模型。
所獲成就
2024年，在史丹福大學的大模型測評榜單HELM MMLU中，阿里巴巴的通義千問開源模型Qwen2-72B排名第5，是排名第一的開源大模型，也是排名最高的中國大模型。
