大數據清洗平台是一種用於計算機科學技術領域的分析儀器，於2016年12月12日啟用。
基本介紹
- 中文名：大數據清洗平台
- 產地：中國
- 學科領域：計算機科學技術
- 啟用日期：2016年12月12日
- 所屬類別：分析儀器
技術指標,主要功能,
技術指標
支持多種採購信用數據來源； 支持關係型數據表、規格化文本檔案、excel表、XML檔案等轉換為統一數據模型描述的信用數據源； 支持將政府採購信用數據從其源位置複製到目的位置，同時格式化並轉換信用數據； 支持數據有效性檢查，決定政府採購信用數據是否符合給定標準； 支持數據清除流程配置，刪除或糾正不在規定範圍內的採購信用數據； 支持通過某些屬性的值來獲取所需要的數據，在統一的數據模型的記錄集定義中定義了採購信用數據的過濾條件 支持數據格式化，將來自不同業務數據源的信用數據轉換為相同格式； 支持數據選擇，根據選擇條件對數據源中的信用數據進行選擇； 支持數據連線操作，將具有相似功能和結構的信用數據源中的數據整合到一個大的資料庫中，用於數據倉庫對採購信用數據的分析； 提供多種內置數據轉換規則，滿足採購信用的多種清洗要求； 實現對採購信用數據標準化定義，實現統一的編碼、統一的分類和組織，內容包括：政府採購信用標準代碼統一、政府採購信用相關業務術語統一； 支持靈活的任務調度策略； 支持抽取過程對信用數據的備份與恢復。
主要功能
對採集的各種政府採購信用數據進行清洗處理，以組件化、流程化的方式來定製各種不同的清洗場景。支持結構化與非結構化的數據來源：關係資料庫、檔案、大數據存儲等，提供不同組件來針對不同的存儲類型，以可視化的所見所得操作方式，制定具體的清洗工作流程，實現抽取、清洗、轉換和載入的完整過程。 一、任務制定 轉換，針對不同業務數據源設計數據格式轉換的流程；作業，根據不同的轉換流程包裝成實際調用的作業。 二、運行監控 執行歷史；日誌；步驟度量；Metrics。 三、數據預覽 數據預覽，預覽每一個步驟中的數據轉換情況。
