雲計算環境下空間數據訪問規律的動態統計方法研究

《雲計算環境下空間數據訪問規律的動態統計方法研究》是依託武漢大學，由潘少明擔任項目負責人的面上項目。

基本介紹

• 中文名：雲計算環境下空間數據訪問規律的動態統計方法研究
• 項目類別：面上項目
• 項目負責人：潘少明
• 依託單位：武漢大學

項目摘要

利用空間數據訪問分布規律調整存儲組織策略和副本分布，能大幅度提高空間數據服務系統性能。雲計算環境下，空間數據服務具有節點動態、服務能力異構以及拓撲關係不確定特徵，而基於Hotmap和Zipf-like的統計規律都是靜態和局部的，一般針對單伺服器或集群伺服器有效，不能真正實時、動態的反映訪問分布規律的全局信息，從而制約了系統服務能力的提高。針對上述問題，課題提出基於雲計算的空間數據分布規律動態統計方法，通過空間粒度、時間粒度策略、統計信息表達和分塊壓縮算法控制統計信息基量，在動態性和實時性上取得平衡；同時，通過虛擬雲分組及雲鏈模型、節點優選算法、雲協作代理分發以及統計信息全局融合算法，從方法上實現全局統計和控制統計信息總量，在全局性和網路流量上取得平衡。本課題的研究有望解決由於全局動態統計帶來的不可承載的網路流量問題，能實時動態跟蹤空間數據訪問全局分布規律，大大改善空間數據系統公眾服務能力。

結題摘要

地理信息系統作為一種典型的數據密集型和服務密集型套用，利用空間數據訪問規律動態調整空間數據的存儲組織和開展快取預取服務可有效改善由於用戶密集訪問所帶來的網路流量急劇增加和伺服器過載等問題。項目針對雲環境下空間數據訪問規律統計信息的動態獲取要求，主要從以下幾個方面開展了研究： （1）研究空間數據訪問的特點，針對性的提出一種空間數據訪問規律統計信息的點雲表達方法，在綜合考慮其時空關係的基礎上，利用點雲聚類和梯度剔除完成統計信息壓縮，減少統計信息總量，平均無損壓縮幅度能達到50%以上； （2）研究統計信息融合和分發的伺服器組網模型，從節點的服務能力與服務負載兩個維度，提出一種基於服務代理的統計信息的融合及分發方法, 平均信息融合速度比傳統方法快約22.0%-29.0%； （3）基於訪問模式識別理論研究數據的訪問相關性，開展分散式環境下小數據的融合算法研究，從服務回響速度以及服務負載兩個方面開展研究，提出了一種基於空間數據相關性矩陣的並發訪問存儲模型和基於計算密集均衡的數據分布策略，相關方法可提高系統服務性能約10%-15%,而針對計算密集型服務的調度可大幅度的均衡系統負載，其平均單數據中心的調度時間在模擬實驗環境下可壓縮到0.1秒內； （4）結合以上研究內容，為解決空間數據訪問規律信息的聚類和梯度壓縮以及海量空間數據集條件下的空間數據相關性表達等問題，針對性的開展了圖像信息的梯度表示及其關聯關係挖掘、基於壓縮感知理論的稀疏矩陣表達等研究，並提出一種基於稀疏表示的特徵選擇與目標檢測算法，相關方法可降低約75%的目標檢測系統時間消耗。 相關研究成果可為資源受限的分散式網路地理信息系統在面對數據密集、計算密集以及用戶密集套用需求時，通過統計獲得的數據相關性、資源相關性以及業務相關性，動態調整數據布局、服務分布以及計算任務的調配，為解決雲計算環境下的大規模分散式套用服務提供理論和方法指導，為促進未來大規模、廉價分散式環境下的地理信息服務提供技術保障。