軌跡數據的分散式存儲與關鍵查詢最佳化

《軌跡數據的分散式存儲與關鍵查詢最佳化》是依託河海大學，由陸佳民擔任項目負責人的青年科學基金項目。

基本介紹

• 中文名：軌跡數據的分散式存儲與關鍵查詢最佳化
• 項目類別：青年科學基金項目
• 項目負責人：陸佳民
• 依託單位：河海大學

項目摘要

伴隨著移動網際網路的迅猛發展，大量由位置服務套用採集的軌跡數據正在極劇增長。為了能夠利用大規模異構集群實現海量軌跡數據的高效處理，對其在分散式環境下的存儲與並行處理方法開展研究具有重要的科學意義。軌跡數據主體由移動對象的歷史採樣時空數據集構成，較一般數據類型具有存儲成本高，時空分布不均且解析涉及大量幾何運算等特點。採用一般基於“鍵值對”的橫向劃分機制來對軌跡數據進行分布存儲，不僅會在並行查詢中引入大量與結果無關的數據存取和解析代價，也會給時空連線、聚集等關鍵查詢帶來可觀的數據劃分、複製與傳輸開銷。因此，本項目擬在擴展既有分散式數據存儲平台的基礎上，構建面向軌跡數據的垂直劃分多級存儲與索引機制，並對基於樣本時空索引的非均質柵格劃分方法和基於分散式操作代價模型的操作組織最佳化方法進行探索，以期構建一個切實可用的分散式軌跡數據處理平台，為後續研究創造良好條件，具有重要的理論意義和實用價值。

結題摘要

軌跡數據的分散式存儲與關鍵查詢最佳化項目，主要針對軌跡數據存儲成本高、解析複雜和時空分布不均等特點，從基礎的數據存儲和具體的處理方法兩個層面，開展數據分散式存儲與關鍵查詢最佳化方面的研究工作。項目主要的研究方向包括分散式環境下的軌跡數據存儲與索引機制構建、分散式環境下的軌跡數據連線與聚集操作處理方法和複雜查詢下的任務組織最佳化三個方面。項目研究提出了基於Hadoop平台的路網移動對象數據的分散式索引框架HINMO，達到了基於城市路網分布和軌跡數據時空密度的存儲負載均衡目標。在此基礎上，項目通過採用先分散式過濾，再進行二階段傳輸與精化操作的分散式連線查詢方法，減少了大規模集群環境下的空間連線查詢過程中的非必要數據傳輸代價，提高了時間連線等關鍵複雜查詢的處理性能。在此基礎上，項目又進一步地利用格線劃分和四叉樹劃分相結合的方式，提出了用於提升交通流數據聚類處理方法TDDDenStream，通過協調交通流數據的空間不均勻性和時間不均勻性，提升了互動過程中的軌跡數據概要處理能力。利用上述研究成果，項目構建了面向智慧城市建設的移動對象查詢任務管理理論模型框架，並針對混合雲環境下不同雲服務商能夠提供的雲計算服務能力、數據訪問安全性、可用服務資源數目等均存在差異的實際問題，提出了一種異構環境下基於預測的任務調度方法FEFT，通過提升對任務調度過程中對後續任務執行與通信效率的精度，來提升整體分散式處理任務的執行性能。除了上述研究內容外，項目還提出了一種雲伺服器性能評估模型CPE，以便為項目實施提供良好的平台支撐。項目還利用前期研究成果，開展了對路網環境下的Skyline查詢方法展開研究，提出了基於查詢基數的路網範圍自適應限定方法和基於稀疏矩陣的去重估算等方法，通過限定支配集規模的方式來提升查詢效率。研究工作自2017年1月開展至今，共發表論文10篇，其中EI檢索5篇，SCI檢索1篇；獲發明專利授權3項，受理多項。協助培養博士生2名，碩士生3名，完成了項目設立的預期目標。