《大數據標準體系框架V1.0》是2017年10月01日實施的一項團體標準。
基本介紹
- 中文名：大數據標準體系框架V1.0
- 標準編號：T/QBDA 1001—2017
- 實施日期：2017年10月01日
- 發布日期：2017年09月23日
起草單位,起草人,主要內容,
起草單位
青島賽迪國軟信息系統治理有限公司、 青島第三方工業和信息化綜合服務平台。
起草人
任保東、 單哲、 吳業元、 趙龍軍。
主要內容
大數據標準體系框架內容
結合國內外大數據標準化情況、 國內大數據技術發展現狀、 大數據參考架構及標準化需求， 根據數據全周期管理， 數據自身標準化特點， 當前各領域大數據套用初步實踐， 以及未來大數據發展趨勢， 制定了大數據標準體系框架。
大數據標準體系框架包含五個部分：1.基礎標準。為整個標準體系提供包括總則、 術語、 社會模型、 技術模型等基礎性標準。總則提供了大數據標準化指南， 本標準屬於總則標準的組成部分。術語定義了大數據各元素的概念。社會模型是一種在大數據產業生態鏈中能夠反映大數據發展、 運行、 產生社會價值的社會化關係概念模型， 一般由系統協調者、 數據提供者、 套用提供者、 框架提供者和數據消費者等構成。技術模型定義了大數據系統中數據生命周期過程， 經歷數據採集、 存儲、 管理和處理、 分析和挖掘、呈現和套用等過程。2.技術標準。該類標準主要針對大數據相關技術進行規範， 包括數據採集、 數據處理、 數據存儲、 數據分析、 數據展現和數據交換等關鍵技術。數據採集是指在廣泛的數據源中對不同類型、 不同格式的數據進行採集， 並傳送給存儲系統或數據中間件系統進行後續處理。數據處理包含數據預處理和數據處理兩個過程。 數據預處理是把多樣的數據進行預先處理、分類，提升數據質量， 使得後續數據處理、 存儲、 分析等過程更加有效， 包括數據清理、 數據集成、 數據歸約與數據轉換等階段。 數據處理技術一方面與分散式存儲形式有關， 一方面與數據的溫度類型（冷數據、熱數據） 相關， 數據處計算模型主要包括 MapReduce 計算模型、 DAG 計算模型、 BSP 計算模型等。大數據存儲是對數據進行存儲， 其關鍵技術是分散式存儲技術， 不同的存儲介質和組織管理形式對應不同的大數據特徵， 一般包括分散式檔案系統、 文檔存儲、 列式存儲、 鍵值存儲、 圖形資料庫、關係資料庫和記憶體存儲等形式。數據分析是指通過聚類、 分類、 關聯分析和深度學習等手段對已有的數據信息的分散式統計進行分析， 以及對位置數據信息的分散式挖掘和深度學習的技術。數據展現是運用計算機圖像處理技術， 把數據轉換為圖形或圖像的形式在螢幕上顯示出來， 並進行處理。數據交換是指不同系統、 設備之間， 對數據進行互動， 以完成數據生命周期過程的技術。3.管理標準。該類標準主要針對大數據體系進行管理， 包括數據利用、 數據共享管理、 產品管理、 平台管理、 項目管理和產業管理等標準。數據利用是指對大數據進行利用的技術， 包括數據生命周期管理、 數據分類方法、 數據質量評價、數據能力評價和標識管理等技術。數據生命周期管理涵蓋大數據生命周期中所有處理過程， 其目的是為了保證數據在生命周期的每個過程都能被大數據系統正確的處理。數據分類方法是通過對不同來源的數據根據其結構、 性質進行分類處理， 降低數據規模， 提升數據質量，提高后續數據處理過程的效率。數據質量評價從完整性、 一致性、 準確性、 及時性四個方面對數據質量進行評估， 區分低質量和高質量數據， 為後續數據處理提供依據。數據能力評價是指對數據管理和套用能力的評價， 可從數據戰略、 數據治理、 數據架構、 數據套用、 數據安全、 數據質量管理、 數據標準和數據生命周期管理等多方面對數據能力成熟度進行評價。標識管理是指對數據進行標識、 管理、 分析， 提高數據系統對數據的利用效率。數據共享管理是指在保證數據安全性和隱私性的情況下， 提供數據共享訪問接口， 對外提供共享服務， 避免數據重複性建設， 主要包括數據開放管理、 數據目錄管理和數據溯源。產品管理是指對大數據產品進行管理， 主要包括產品生命周期管理和產品價值評估等。 產品生命周期管理是對產品從市場獲取需求、 產品研發、 運行、 服務直至被市場淘汰回收的全部生命周期各個環節管理過程的統稱。 產品價值評估是對產品的功能、 特性、 品質、 品種與式樣等所產生的價值進行的評估。平台管理是對大數據平台進行管理， 對平台環境設施、 通信設施、 平台硬體和軟體等方面進行管理。項目管理主要包括系統生命周期管理、 立項管理、 實施管理、 驗收管理、 運維管理和績效管理等六個方面。4.安全標準。數據安全作為數據標準的支撐體系， 貫穿於數據整個生命周期的各個階段。 拋開傳統的系統安全和網路安全， 大數據時代下的數據安全標準主要包括通用安全要求、 數據脫敏、 交易安全和隱私保護等安全標準。通用安全要求主要從網路安全、 主機安全、 套用安全和數據安全四個方面來保證大數據平台的安全性。5.套用標準。套用標準主要是針對大數據所能提供的套用服務為社會各領域根據其領域特性產生的專用標準， 主要包括政務、 金融、 交通、 電信、 商貿、 醫療、 教育、 旅遊、 工業和農業等領域標準。針對不同套用領域， 需要根據實際情況建立相應標準體系， 規範大數據行為。
