基本介紹
- 中文名：空氣數據系統
- 外文名：Air data system
- 學科：計算機
- 定義：記錄空氣品質系統
- 目的：空氣監測與分析
- 領域：資料庫
簡介,大數據系統,大數據,大數據系統,功能,數據處理,空氣品質預報,數據發布,數據查詢,系統技術特點,開放性和可擴展性,系統維護和安全性,高集成度和自動化,
簡介
空氣數據系統是指用於記錄有關空氣品質監測數據的數據系統。空氣資料庫系統一般由空氣數據監測子站、中心計算機室、資料庫、質量保證實驗室和系統支持實驗室等組成，系統需求中心計算機室能及時、準確、安全讀取各監測子站的監測數據。空氣數據系統中空氣除了生成的每日空氣品質報告數據，還可以用於空氣品質預測與分析。空氣數據系統一般都是大數據系統。
大數據系統
大數據
隨著大數據的流行，大數據的定義呈現多樣化的趨勢，達成共識非常困難。本質上，大數據不僅意味著數據的大容量，還體現了一些區別於“海量數據”和“非常大的數據”的特點。 實際上，不少文獻對大數據進行了定義，其中三種定義較為重要。屬性定義 (Attributive definition)：國際數據中IDC 是研究大數據及其影響的先驅 , 在 2011 年的報告中定義了大數據：“大數據技術描述了一個技術和體系的新時代，被設計於從大規模多樣化的數據中通過高速捕獲、 發現和分析技術提取數據的價值”。這個定義刻畫了大數據的4 個顯著特點，即容量 (volume) 、多樣性 (variety)、速度 (velocity) 和價值 (value)，而“4Vs” 定義的使用也較為廣泛。類似的定義也出現在 2001 年 IT 分析公司 META 集團分析師 Doug Laney 的研究報告中，他注意到數據的增長是三維的，即容量、 多樣性和速度的增長。儘管 “3Vs” 定義沒有完整描述大數據，Gartner 和多數產業界巨頭如 IBM和 Microsoft的研究者們仍繼續使用 “拒炒多3Vs”模鑽放乃協型描述大數據。比較定義 (Comparative definition): 2011 年 , McKinsey 公司的研究報告中將大數據定義為“ 超過了典型資料庫軟體工具捕獲、 存儲、管理和分析數據能力的數據集 ”。這種定義是一種主觀定義，沒有描述與大數據相關的任何度量機制，但是在定義中鴉鴉甩包含了一種甩鴉牛演化的觀點( 從時間和跨領域的角度)，說明了什麼樣的數據集才能被認為是大數據。體系定義 (Architectural definition): 美國國家標準和技術研究院 NIST 則認為“大數據是指數據的容量、數據的獲取速度或者數據的表示限制了使用傳統關係方法對數據的分析處理能力，需要使用水平擴展的機制以提高處理效率謎多 ”。此外，大數據可進一步細分為大數據科學 (big data science) 和大數據框架 (big data frameworks)。大數據科學是涵蓋大數據獲取、調節和評估技術的研究；大數據框架則是在計算單元集群間解決大數據問題的分散式處理和分析的軟體庫及算法 。一個或多個大數據框架的實例化即為大數據基礎設施。
大數據系統
大數據系統是一個複雜的、提供數據生命周期 ( 從數據的產生到消亡 ) 的不同階段數據處理功能的系統。從層次觀點，可以將大數據系統分解為3 層：基礎設施層、計算層和套用層，這種層次觀點僅提供概念上的層次以強調大數據系統的複雜性。基礎設施層：由 ICT 資源池構成，可利用虛擬技術組織為雲計算基礎設施。這些資源通過特定的服務級別協定 (service-level agreement, SLA) 以細粒度的方式提供給上層子系統，資源的分配需要滿足大數據需求，同時通過最大化系統利用率、能量感知和操作簡化等方式實現資源使用的有效性。計算層：將多種數據工具封裝於運行在原始 ICT 硬體資源之上的中間件中，典型的工具包括數據集成、數放汗府據管理和編程模型等。數據集成是指從獨立的數據源中獲取數據，並通過必要的預處理技術將數據集合成為統一形式。數據管理是指提供數據的持久存儲和高效管理的機制和工具，例如分散式的檔案系統和 SQL，NoSQL 數據存儲。編程模型實現套用邏輯抽象並為數據分析套用提供便利。MapReduce， Dryad，Pregel和 Dremel是幾個典型的編程模型。套用層：利用編程模型提供的接口實現不同的數據分析功能，包括查詢、統計分析、數夜汗店殃據的聚類和分類等，同時通過組合基本分析方法開發不同的領域相關套用，McKinsey 公司提出了 5 個潛在的大數據套用領域：醫療康護、公眾部門管理、零售、全球製造和個人位置信息。
功能
數據處理
數據處理是對原始數據進行分析和加工的技術過程，包括對原始數據進行有效性審核和小時/日均值計算等步驟。其功能為：讀取資料庫中相應時間段內空氣品質原始數據，對各污染物濃度數值和狀態有效性進行判斷，按照相關規範對異常值進行處理。對數據有效審核後的數據計算出相應的小時均值和日均值，並存入資料庫。
空氣品質預報
空氣污染預報不僅可以為可以預防嚴重污染事件的發生，對可能發生的污染事故採取措施，避免或減輕污染危害。其功能為：根據資料庫中一段時期內空氣品質歷史數據，並結合氣象數據、空氣品質分布規律、影響因子及空氣品質預報模型，對城市環境空氣品質狀況進行預報。將預報數據存入資料庫，及時修訂空氣品質預報模型參數。
數據發布
能夠及時、準確地將監測數據上報國家及向社會發布是環境空氣品質監測工作中非常重要的一環。及時有效的環境空氣信息不僅可以為政府的管理和決策部門提供及時準確和全面的空氣品質信息，針對不同污染情況有針對性地採取相應的控制和防治措施，而且可以為公眾的社會活動安排提供參考依據。其功能為：根據需要製作相應的報表，並將統計結果存入資料庫中。實現環保網頁、電台郵件等網頁信息的自動提交。
數據查詢
數據查詢是在對歷史數據進行有效管理的前提下，進一步挖掘其蘊含的豐富信息，充分發揮信息潛力及價值的必要手段。其功能為：實現按照日期、站點名稱、監測項目及用戶自定義篩選條件等查詢小時均值、日均值、污染物趨勢變化等信息，並提供數據導出功能。
系統技術特點
開放性和可擴展性
系統可以在區域網路範圍內實現日常數據處理、空氣品質預報、數據發布、數據查詢等功能，並且所有功能均採用模組化設計，不同的模組進行簡單組合、修改便可完成另外的任務。
系統維護和安全性
系統每天定時進行資料庫自動備份，確保資料庫安全可靠地運行。一旦系統資料庫出現故障或數據丟失能立即恢復到上一次備份狀態。在數據保密性方面，系統登入設定分級別的身份驗證，不同用戶級別僅在許可權範圍內進行相應地操作，同時記錄用戶所進行的每一項操作。
高集成度和自動化
完善的數據存儲功能和豐富的數據查詢功能，並能生成相應的報表檔案。最大程度地簡化數據處理流程，所有的操作均可“一鍵式”完成，不僅可以避免人為因素造成的誤操作，同時還大幅度提高工作效率。
大數據系統
大數據系統是一個複雜的、提供數據生命周期 ( 從數據的產生到消亡 ) 的不同階段數據處理功能的系統。從層次觀點，可以將大數據系統分解為3 層：基礎設施層、計算層和套用層，這種層次觀點僅提供概念上的層次以強調大數據系統的複雜性。基礎設施層：由 ICT 資源池構成，可利用虛擬技術組織為雲計算基礎設施。這些資源通過特定的服務級別協定 (service-level agreement, SLA) 以細粒度的方式提供給上層子系統，資源的分配需要滿足大數據需求，同時通過最大化系統利用率、能量感知和操作簡化等方式實現資源使用的有效性。計算層：將多種數據工具封裝於運行在原始 ICT 硬體資源之上的中間件中，典型的工具包括數據集成、數據管理和編程模型等。數據集成是指從獨立的數據源中獲取數據，並通過必要的預處理技術將數據集合成為統一形式。數據管理是指提供數據的持久存儲和高效管理的機制和工具，例如分散式的檔案系統和 SQL，NoSQL 數據存儲。編程模型實現套用邏輯抽象並為數據分析套用提供便利。MapReduce， Dryad，Pregel和 Dremel是幾個典型的編程模型。套用層：利用編程模型提供的接口實現不同的數據分析功能，包括查詢、統計分析、數據的聚類和分類等，同時通過組合基本分析方法開發不同的領域相關套用，McKinsey 公司提出了 5 個潛在的大數據套用領域：醫療康護、公眾部門管理、零售、全球製造和個人位置信息。
功能
數據處理
數據處理是對原始數據進行分析和加工的技術過程，包括對原始數據進行有效性審核和小時/日均值計算等步驟。其功能為：讀取資料庫中相應時間段內空氣品質原始數據，對各污染物濃度數值和狀態有效性進行判斷，按照相關規範對異常值進行處理。對數據有效審核後的數據計算出相應的小時均值和日均值，並存入資料庫。
空氣品質預報
空氣污染預報不僅可以為可以預防嚴重污染事件的發生，對可能發生的污染事故採取措施，避免或減輕污染危害。其功能為：根據資料庫中一段時期內空氣品質歷史數據，並結合氣象數據、空氣品質分布規律、影響因子及空氣品質預報模型，對城市環境空氣品質狀況進行預報。將預報數據存入資料庫，及時修訂空氣品質預報模型參數。
數據發布
能夠及時、準確地將監測數據上報國家及向社會發布是環境空氣品質監測工作中非常重要的一環。及時有效的環境空氣信息不僅可以為政府的管理和決策部門提供及時準確和全面的空氣品質信息，針對不同污染情況有針對性地採取相應的控制和防治措施，而且可以為公眾的社會活動安排提供參考依據。其功能為：根據需要製作相應的報表，並將統計結果存入資料庫中。實現環保網頁、電台郵件等網頁信息的自動提交。
數據查詢
數據查詢是在對歷史數據進行有效管理的前提下，進一步挖掘其蘊含的豐富信息，充分發揮信息潛力及價值的必要手段。其功能為：實現按照日期、站點名稱、監測項目及用戶自定義篩選條件等查詢小時均值、日均值、污染物趨勢變化等信息，並提供數據導出功能。
系統技術特點
開放性和可擴展性
系統可以在區域網路範圍內實現日常數據處理、空氣品質預報、數據發布、數據查詢等功能，並且所有功能均採用模組化設計，不同的模組進行簡單組合、修改便可完成另外的任務。
系統維護和安全性
系統每天定時進行資料庫自動備份，確保資料庫安全可靠地運行。一旦系統資料庫出現故障或數據丟失能立即恢復到上一次備份狀態。在數據保密性方面，系統登入設定分級別的身份驗證，不同用戶級別僅在許可權範圍內進行相應地操作，同時記錄用戶所進行的每一項操作。
高集成度和自動化
完善的數據存儲功能和豐富的數據查詢功能，並能生成相應的報表檔案。最大程度地簡化數據處理流程，所有的操作均可“一鍵式”完成，不僅可以避免人為因素造成的誤操作，同時還大幅度提高工作效率。
