《中國AI大模型工業套用指數（2024年）》是人工智慧賦能新型工業化主題論壇上發布的指數體系，於2024年7月4日發布。
基本介紹
- 中文名：中國AI大模型工業套用指數（2024年）
- 發布時間：2024年7月4日
發布歷程,指數內容,相關解讀,
發布歷程
2024年7月4日，2024世界人工智慧大會暨人工智慧全球治理高級別會議在上海世博中心啟幕。在“AI賦工業，數智啟未來”人工智慧賦能新型工業化主題論壇上，《中國AI大模型工業套用指數（2024年）》發布。
指數內容
指數體系由大模型基礎套用能力與行業套用能力構成。大模型基礎套用能力包含文生文、圖生文等領域的準確性、穩定性能力；大模型的行業套用能力包含民爆、電力、石化、鋼鐵、醫藥等重點行業大模型在研發設計、生產製造、運維管理等環節具體場景的套用有效程度。
相關解讀
經過多輪測評與專家研討，在基礎套用能力方面，率先發布中國AI大模型文生文準確性與穩定性指數，其中準確性指數反映了國內外頭部AI大模型在工業領域文本生成的精準程度。總體上，國內大模型準確性指數為78，國際大模型準確性指數為76，國內頂級大模型在工業領域文本生成的準確性已具備競爭力；在行業知識層面，我國在多個行業如電力、建材、紡織的知識儲備已經具備一定領先優勢；細分能力層面，國內模型在語句能力和專業知識掌握上比國外模型更加優秀，在數理能力還有待提升。穩定性指數代表模型在一定外部擾動下持續給出正確回答的能力，反映模型在複雜環境下的魯棒性。總體上，國內大模型穩定性指數為71分，低於國際的74分；在行業知識層面，電力和採礦等行業知識儲備有待提升；在細分能力層面，國內大模型需要在順序變換和邏輯擾動等領域需進一步加強。
