神州問學

神州問學

神州問學是神州數碼發布的AI原生賦能平台,面對ToB業務複雜性和多樣性,神州問學整合算力、模型、知識與套用四大核心要素,將AI原生的場景賦能、知識治理、模型訓練與管理三大功能模組融會貫通,為企業構建起一個可疊代的AI開發環境,引導企業走向無邊界的組織形態,打通大模型到企業套用的最後一公里。

基本介紹

  • 中文名:神州問學
  • 外文名:SmartVision
  • 發布時間:2023年10月26日 
  • 所屬公司:神州數碼 
產品簡介,發展歷程,服務能力,功能模組,場景套用,算力層套用場景,數據層套用場景,模型層套用場景,套用層場景,核心價值,

產品簡介

神州問學平台是一款企業級AI套用一站式構建管理平台,致力於打通模型、數據、套用和算力四大要素,專注於企業大模型落地的全生命周期過程管理,解決企業在大模型套用落地上面臨的挑戰。

發展歷程

2023年10月26日,信百會2023年會期間,神州數碼正式發布神州問學平台產品,並聯合信百會研究院發布行業《生成式AI企業級落地白皮書》,攜手十餘家產業生態力量共同開啟“生成式AI問學共創計畫”,三位一體打造企業生成式AI破局之道。
2024年5月9日,在由神州控股、神州信息、神州數碼集團聯袂打造的數雲原力大會2024中,神州數碼在深圳公布新版神州問學AI平台。

服務能力

神州問學提供一系列綜合服務,包括但不限於:
算力集成與調度:多品牌CPU與GPU信創、非信創算力池化的動態調度,提升模型推理效率、有效提高資源利用率,為業務的穩定運行提供保障。
大模型集成與適配:搭載多模態、大規模預訓練模型,同時支持模型定製、私有模型訓練與最佳化,滿足不同行業和業務場景的需求。
數據治理與套用:幫助企業完成數據採集、清洗、標註和管理,為大模型訓練與套用奠定基礎。
套用開發與敏捷交付:提供一站式的套用開發工具與環境,支持企業實現敏捷場景構建與開箱即用的AI套用。

功能模組

神州問學推出全方位、多層次的平台能力,實現了對計算資源的集成調用、大模型的集成調用、數據/語料治理和知識管理、快速低代碼的套用搭建,有效解決了大模型安全、套用場景創新、數據&語料問題、AI套用敏捷開發、模型統一管理、模型與套用的持續發布與管理等諸多問題,幫助企業加速生成式AI的創新、降低AI套用的開發門檻及落地成本,讓企業能夠更快地將自身業務需求與大模型技術結合,實現業務流程的智慧型化。
1、數據管理與處理:提供數據管理和處理功能,包括數據標註、數據預處理等,還支持創建不同數據類型的數據集,如訓練集和評測集,並支持多版本數據管理。
2、模型開發、訓練與運營生態:平台內置豐富的國內外主流大模型,提供了完善的全鏈路模型工具,涵蓋大模型的訓練、部署和套用等全過程。
3、多模態信息互動:平台已接入GPT-4o等多模態大模型,具備跨模態理解和處理能力,能夠處理文本、代碼、音頻、圖像和視頻等多種信息形式。
4、模型最佳化、部署與推理加速:平台提供模型最佳化和線上服務部署等功能,同時支持模型推理加速。
5、智慧型體AI套用開發:提供智慧型體套用開發的全生命周期服務,及一站式智慧型體套用開發模組,面向企業,覆蓋從設計到部署的每一個環節,配備全套開發工具與套用套件。
6、工具外掛程式集成與API/SDK支持:預置能力外掛程式,並提供API及SDK等便捷的集成方式,以完成智慧型體套用構建。
7、領域知識RAG技術:領域特定知識庫構建、文檔向量化及檢索算法,提升在垂直領域的知識套用和生成內容的質量。
8、套用效果提升技術:通過面向場景的標準流程方法,複合運用智慧型體構建和工具調用等技術,提升業務落地中的問答精度。為客戶綜合權衡精度、性能、成本和安全的搭配選擇。
9、八大模型套用功能套件:涵蓋文檔總結、文檔解析、文字創作、文字糾錯翻譯、圖片創作、私域知識問答、通用知識百科、虛擬人朗讀八大模型套用功能套件,為企業低成本構建大模型套用提供支撐。
10、安全的許可權管理功能:提供從系統-組織-空間-套用的多層級管理,允許企業按需配置各級管理員。企業數據各級別間完全獨立,支持自上而下的單向管控許可權流,確保了數據安全性與管理效率。
11、快捷模型接入功能:提供模型註冊機制,模型註冊完成後即可實現套用場景的靈活調用對接。
12、自由靈活的模型切換功能:支持單套用、多用戶、多模型的自由匹配,為模型測評提供便利,全面最佳化業務適配性與運行效率。
13、企業級多組織配額管控功能:支持模型的token配額管控,幫助企業合理分配資源,精準控制成本。
14、多維度的數據與模型監控功能:提供各套用的用戶數、活躍用戶數、累計會話數、累計Token數、套用活躍趨勢、套用Token消耗趨勢等數據,賦能企業運營分析。

場景套用

算力層套用場景

1)算力部署管理
算力管理可助力企業提高算力資源利用率,解決資源浪費、性能瓶頸、成本過高等痛點。通過實時監控、智慧型調度和預測分析等功能,實現算力供需精準匹配,提升業務運行效率,降低成本,確保服務穩定與回響。

數據層套用場景

1) 知識管理平台
知識管理平台可以助力企業在私域知識的使用過程中,儘可能覆蓋多的模態資料(文圖音視),避免知識遺漏造成的風險及損失。同時提供開放性的算法生態,在知識管理全過程提供無/低代碼環境,降低知識處理耗費人工成本。
2) 知識治理
企業原有的知識文檔數據,質量參差不齊,直接用於大語言模型套用或微調訓練,會導致效果很難達到預期。通過神州問學知識治理能力,能夠提高知識文檔質量,最終提高模型套用能力和效果。

模型層套用場景

1) 大模型測評
多模型測評體系:平台提供大語言模型通用能力評測模版,通過預製的評估數據集和評估方法,對模型能力進行評估並將結果展示。
多模型快速切換:平台對接市場商業模型和開源模型,在套用構建訓練驗證過程中,降低模型切換帶來的額外開發工作量,提高模型測評驗證效率。
2) 大模型訓練
微調數據集管理:提供多元化微調訓練數據集,可以使用多種已授權的行業訓練數據,也支持企業私域微調數據上傳,也可以由大語言模型生成微調數據集。
無代碼訓練界面:構建基於無代碼的大語言模型微調訓練能力,上傳微調數據集、基座模型以及訓練參數後,系統將進行自動化訓練,並將訓練結果封裝成為可部署的微調模型,同時對模型訓練過程進行展示。
3) 大模型調優
大語言模型最佳化:支持根據損失函式、最佳化算法等方式,調整大語言模型參數,以提高模型性能。
高參數模型蒸餾:支持根據套用能力,將高參數模型的參數進行蒸餾,維持較高場景能力情況下,降低參數量以降低算力消耗,提高模型回響速度。

套用層場景

大語言模型可以在眾多場景使用,例如智慧型問答、文檔解析、內容生成、Agent智慧型體任務等。企業在套用落地時,通用套用能力不一定完全適合,需要構建適合自身的套用以適應特定的業務流、數據流。
1) 套用編排構建
多樣式套用編排:提供無代碼、低代碼、全代碼等多種編排方式,根據套用需求選擇適合的開發模式,平衡定製化和開發效率。
Agent編排流水線:具備Agent開發編排腳手架工具,將Agent流程和大小模型工具,通過SOP、CoT等編排完成,實現具備企業私域化流程化的智慧型套用。
開發者共享空間:提供開發者共享空間,組織內各開發者可以共享開發成果,避免“重複造輪子”的情況。
2) 套用測試部署
界面化套用測試:套用部署前,即可以在套用預覽頁面對套用效果進行驗證測試,使整個套用具備CI/CD能力。
微服務化套用編排:套用部署時在平台上構建標準套用微服務,提供基於Iframe和JavaScript等嵌入方式,方便企業開發者與已有信息門戶集成對接。
3) 智慧型行銷系統+消費者服務系統
對於企業來說每位線上諮詢者、到店訪客及老顧客均是企業的私域流量資源。神州問學助力企業從零起步構建私域管理體系,評估私域渠道質量,智慧型輔助銷售諮詢,自動化業務流程服務。
4) 超級員工
企業內部知識包含產品信息、使用信息、服務信息、價格政策等,體系搭建維護耗時耗力,神州問學助力企業搭建內部知識庫,通過FAQ維護即可自動更新企業業務內容。
5)專家顧問系統
專家顧問系統可代替/輔助財務、法律、研發、產品的同事解答專業的問題,助力企業服務客戶。
6)智慧型客服系統
智慧型客服系統通過RAG與Agent技術,24小時不間斷提供服務諮詢、服務辦理、進度查詢等服務,實現用戶問題回響,提升服務效率,減輕人工客服負擔。

核心價值

1、工程化的Agent開發是神州問學的一大亮點,平台提供了一套標準化流程和實踐模板,使得Agent的創建不再是孤立的、一次性的任務,而是能夠遵循明確的步驟,不斷疊代最佳化,形成工程化的工作流。通過智慧型外掛程式集成、知識掛載、多輪對話支持等功能,Agent不僅能夠執行任務,還能自我學習、自我調整,實現與用戶意圖的匹配。
2、在知識治理方面,神州問學引入了自動化標註模型,簡化了企業私域知識的整理與套用。針對如醫藥行業客戶所面臨的醫療文檔治理挑戰,平台的文檔布局拆解工具和專業訓練模型將人工干預的文檔量從46萬份減少至1000份以內,實現了知識治理的自動化。這一轉變提升了數據處理效率,為企業構建一個知識檢索體系,為AI套用的深度學習和決策支持打下基礎。
3、神州問學的大模型管理平台內置了精選的全球數十種基礎大模型,搭配用戶業務測試框架,為企業提供了一個全面評估模型性能的平台。通過直觀的控制臺,算法團隊能夠實時監控訓練進度,靈活調整訓練策略,快速疊代模型。這一特性不僅縮短了模型從實驗室到生產環境的路徑,也為企業持續最佳化私有模型集群、構建私域知識體系提供了強大支撐,加速了AI創新的規模化套用。
4、平台針對模型微調與訓練的複雜性,設計可配置的用戶界面,支持多種訓練方法與最佳化策略,如增量預訓練、指令監督微調等,並創新性地採用Flash Attention-2等技術,提升訓練效率與推理速度。針對多機多卡環境的挑戰,神州問學通過自適應並行模式與智慧型最佳化算法,構建分散式訓練系統,有效解決了資源限制與性能瓶頸,使模型訓練與推理達到更優的規模與效率。

相關詞條

熱門詞條

聯絡我們