雲計算環境下海量數據查詢最佳化與智慧型處理的研究

《雲計算環境下海量數據查詢最佳化與智慧型處理的研究》是依託大連理工大學,由李克秋擔任項目負責人的面上項目。

基本介紹

• 中文名：雲計算環境下海量數據查詢最佳化與智慧型處理的研究
• 依託單位：大連理工大學
• 項目類別：面上項目
• 項目負責人：李克秋

項目摘要

隨著社會信息數據的快速增長，產生了對大規模海量數據進行分析處理的需要，也面臨數據處理算法執行效率低下、運行環境複雜多樣、不具備良好的可擴展性等一系列問題。而雲計算作為一種按需計算、具備高效性、可擴展性、經濟性、高可靠性和高可用性的新技術，近年來得到了社會的普遍關注。.我們將對當前主要的分散式數據處理模型進行深入研究，分析MapReduce等模式的優缺點，研究如何能在保留良好的數據處理模式和執行引擎的同時，使並行處理性能得到進一步的最佳化與提高；嘗試在雲環境中對網路、異構、分布、動態、智慧型管理條件下的各種海量數據資源進行分散式整合、索引、分析與處理方法與策略研究，設計合理高效的支持在線上事務處理和在線上分析處理的雲數據系統架構；從而建立用於海量數據分析挖掘、處理的網路分散式的全球化混合雲計算平台。為各類大規模數據處理任務提供靈活可變、適應高負載壓力、支持大型在線上事務處理等任務的雲服務。

結題摘要

當前大規模海量數據的分析與處理面臨著算法執行效率低下、運行環境複雜多樣、不具備良好的可擴展性等一系列問題。雲計算的誕生為海量數據的分析與處理提出了新的解決思路。然而，當前雲計算中的海量數據分析處理計算模型及平台還不夠成熟，面臨著眾多挑戰。 本項目通過對當前主流分散式數據處理模型進行深入研究，來解決海量數據查詢及智慧型處理等計算任務的最佳化問題，使海量數據乃至大數據的分散式計算性能得到進一步的提高。項目中重點研究雲計算環境下各種海量數據的索引機制、分析與計算方法等，最終要設計合理高效的雲數據分散式計算架構，從而為海量數據分析挖掘、檢索等套用奠定基礎。 項目主要研究內容包括兩個層面：第一層面，通用型海量數據分散式計算模型的研究，重點針對基於MapReduce的海量數據分散式計算處理框架展開研究。第二層面，面向不同套用領域的專用性海量數據計算方法的研究，分別以海量多媒體數據計算與大規模射頻標籤數據計算為典型套用示例展開研究。 具體創新成果集中在以下幾個方面：基於MapReduce的空間數據查詢模型，海量數據聚類模型以及Skyline計算模型；面向海量多媒體數據的分散式索引機制；基於哈希編碼和離散化的高維數據特徵最佳化；海量射頻標籤數據的估計計算模型及算法。 在本項目支撐下，目前錄用及發表文章25篇，其中包括：中國計算機學會（CCF）推薦A類、B類期刊文章9篇，CCF推薦A類、B類國際學術會議文章4篇。在本項目執行期間，培養博士及碩士研究生20餘人，其中畢業生15人，三人次獲得國家獎學金，一人次獲得大連市自然優秀學術論文一等獎。項目負責人還受邀在國際學術會議I-SPAN 2012，WICT 2012，CBD 2014，IUCC 2015進行大會主題報告。