commonsenseqa 2.0是艾倫人工智慧研究院於2021年主導發布的國際常識推理評測數據集，旨在評估機器對常識知識的理解及掌握水平。
基本介紹
- 中文名：commonsenseqa 2.0
- 發布機構：艾倫人工智慧研究院
發展歷程
在CommonsenseQA 2.0這項頗具挑戰的常識推理評測任務上，業界主流的中等大小預訓練模型方法也只能取得55%的水平，略高於隨機猜測平均水平。此前國際上該任務的最優方法，通過1750億級參數量大小的GPT3模型生成針對CommonsenseQA 2.0常識推理問題的相關知識，取得了73%的準確率。
2022年4月12日，由科大訊飛承建的我國首個認知智慧型國家重點實驗室，以76.06%的成績登頂常識推理挑戰賽CommonsenseQA 2.0，科大訊飛首次參賽，即創新性地提出ACROSS模型，以全新深度學習算法絕對優勢，刷新機器常識推理水平世界紀錄。
