紫東太初

紫東太初，是中國科學院自動化研究所研發的跨模態通用人工智慧平台。全球首個圖文音（視覺-文本-語音）三模態預訓練模型（OPT-Omni-Perception pre-Trainer），同時具備跨模態理解與跨模態生成能力，取得了預訓練模型突破性進展。

“紫東太初”跨模態通用人工智慧平台以多模態大模型為核心，基於全棧國產化基礎軟硬體平台，可支撐全場景AI套用。多模態預訓練模型被廣泛認為是從限定領域的弱人工智慧邁向通用人工智慧路徑的探索。自動化所“紫東太初”跨模態通用人工智慧平台瞄準成為實現通用人工智慧的開天之斧，在智慧型世界混沌初開之際開闢新局。

2023年6月16日，中國科學院自動化研究所發布紫東太初2.0。

2023年8月，中科院旗下紫東太初的大模型位列首批通過《生成式人工智慧服務管理暫行辦法》備案的名單，可正式上線面向公眾提供服務。

基本介紹

• 中文名：紫東太初
• 別名：跨模態通用人工智慧
• 發布時間：2021年7月9日 
• 性質：跨模態通用人工智慧平台

基本簡介

依託面向超大規模的高效分散式訓練框架，自動化所構建了具有業界領先性能的中文預訓練模型、語音預訓練模型、視覺預訓練模型，並開拓性地通過跨模態語義關聯實現了視覺-文本-語音三模態統一表示，構建了三模態預訓練大模型，賦予跨模態通用人工智慧平台多種核心能力。

多模態大模型

“紫東太初”兼具跨模態理解和生成能力。與單模態和圖文兩模態相比，其採用一個大模型就可以靈活支撐圖-文-音全場景AI套用，具有了在無監督情況下多任務聯合學習、並快速遷移到不同領域數據的強大能力。引入語音模態後的多模態預訓練模型，可實現共性圖文音語義空間表征和利用，並突破性地直接實現三模態的統一表示。特別地首次使 “以圖生音”和“以音生圖”成為現實，對更廣泛、更多樣的下游任務提供模型基礎支撐，達成AI在如視頻配音、語音播報、標題摘要、海報創作等更多元場景的套用。

發布情況

2021年7月9日，2021世界人工智慧大會（WAIC）昇騰人工智慧高峰論壇上，中國科學院自動化研究所所長徐波正式報告了跨模態通用人工智慧平台。該平台以全球首個圖、文、音（視覺、文本、語音）三模態預訓練模型為核心，基於國產化自主AI基礎軟硬體平台（昇騰）開發實現，向更加通用的人工智慧跨出一步。

所長徐波發布報告

2023年6月16日，中國科學院自動化研究所在上海發布了該所研製的新一代人工智慧大模型——紫東太初2.0。全新大模型相比第一代著力提升了決策與判斷能力，實現了從感知、認知到決策的跨越，未來將在醫療、交通、工業生產等領域發揮更大作用。

2024年3月5日訊息，武漢人工智慧研究院聯合中國科學院自動化研究所自主研發的“紫東太初”大模型已疊代到 2.0 版本，根據官方最新訊息，“紫東太初 3.0”將於2024年上半年發布。

關鍵技術

三大關鍵技術為多模態理解與生成多任務統一建模、面向國產化軟硬體的高效訓練與部署、多模態預訓練模型架構設計與最佳化。

實現圖文音語義統一表達

核心能力

六大核心能力則體現為多模態統一表示與語義關聯、跨模態內容轉化與生成、預訓練模型網路架構設計、標註受限自監督模型學習、模型適配與分散式訓練、模型輕量化與推理加速。

創新套用

紫東太初’實現了圖、文、音三種模態的統一表達，以圖生音，以音生圖，將開拓AI在視頻配音、語音播報、標題摘要、海報創作等更多元場景的套用

榮譽獎項

在上海開幕的2022世界人工智慧大會上，獲得大會最高獎項“卓越人工智慧引領者”(SAIL，Superior AI Leader)獎。

在2月12日-3月3日參與可信 AI 評測工作，模型開發和模型能力兩部分獲得 4 + 級評分，成為國內首家通過該項評測的學術機構。