悟道·天鷹

“悟道·天鷹”是北京智源人工智慧研究院發布的語言大模型。悟道・天鷹Aquila語言大模型是第一個中英文雙語大模型，支持商用、符合數據合規要求，在中英高質量合規的語料資料庫基礎上從零開始訓練。

基本介紹

• 中文名：悟道·天鷹
• 外文名：Aquila
• 發布單位：北京智源人工智慧研究院 
• 發布日期：2023年6月

歷史沿革

2023年6月，在“2023北京智源大會”上，北京智源人工智慧研究院發布悟道3.0大模型系列，包含悟道・天鷹（Aquila）語言大模型系列。

模型簡介

悟道・天鷹Aquila語言大模型是第一個中英文雙語大模型，支持商用、符合數據合規要求，在中英高質量合規的語料資料庫基礎上從零開始訓練。

優勢特點

7B、33B在技術上繼承了GPT-3、LLaMA等的架構設計優點，替換了一批更高效的底層運算元實現、重新設計實現了中英雙語的tokenizer，升級了BMTrain並行訓練方法，在Aquila的訓練過程中實現了比Magtron+DeepSpeedZeRO-2將近８倍的訓練效率。

AquilaCode-7B代碼模型，是基於Aquila-7B基礎模式的代碼模型，它也是7B（70億參數），用小數據集、小參數量實現了高性能，支持中英雙語。