Tele-FLM-1T，是北京智源人工智慧研究院和中國電信人工智慧研究院（TeleAI）基於模型生長和損失預測等關鍵技術，聯合研發並推出的全球首個低碳單體稠密萬億語言模型。
基本介紹
- 外文名：Tele-FLM-1T
- 研發單位：北京智源人工智慧研究院、中國電信人工智慧研究院
發展歷史,模型簡介,
發展歷史
2024年6月14日，北京智源人工智慧研究院推出大模型“全家桶”。其中針對大模型訓練算力消耗高的問題，研發並推出全球首個低碳單體稠密萬億語言模型Tele-FLM-1T。
模型簡介
“Tele-FLM-1T”模型與百億級的52B版本、千億級的102B版本共同構成Tele-FLM系列模型。Tele-FLM系列模型僅以業界普通訓練方案9%的算力資源，基於112台A800伺服器，用4個月完成3個模型總計2.3T tokens的訓練，訓練出萬億稠密模型Tele-FLM-1T。
