低能耗海量數據管理理論與關鍵技術研究

《低能耗海量數據管理理論與關鍵技術研究》是依託哈爾濱工業大學，由高宏擔任項目負責人的面上項目。

基本介紹

• 中文名：低能耗海量數據管理理論與關鍵技術研究
• 依託單位：哈爾濱工業大學
• 項目類別：面上項目
• 項目負責人：高宏

項目摘要

系統性能（單位時間內完成的任務數或每秒處理的查詢量）一直是傳統數據管理系統關注的焦點。能量有效性（每單位能量完成的任務數或每焦耳執行的查詢量）正在成為減少社會信息化代價重要指標。能量在金錢和環境方面的巨大代價，向海量數據管理領域提出了一個新的挑戰問題。為此，本課題擬在已有的海量數據管理研究基礎上，以最小化時間複雜性、空間複雜性以及能量複雜性為目標，研究低能耗海量數據管理基礎理論和關鍵技術，包括支持海量數據管理計算系統的能源消耗機理、海量數據管理問題的能耗複雜性理論、低能耗數據存儲和存取方法設計與分析原理以及低能耗算法設計與分析的原理等，並研製低能耗數據管理原型系統，驗證課題組所提出方法的正確性和有效性。

結題摘要

系統性能（單位時間內完成的任務數或每秒處理的查詢量）一直是傳統數據管理系統關注的焦點。能量有效性（每單位能量完成的任務數或每焦耳執行的查詢量）正在成為減少社會信息化代價重要指標。能量管理向海量數據管理領域提出了一個新的挑戰問題。為此，本課題研究了低能耗海量數據管理基礎理論和關鍵技術，包括支持海量數據管理計算系統的能源消耗機理、海量數據管理問題的能耗複雜性理論、低能耗數據存儲和存取方法以及低能耗查詢處理算法等，並研製低能耗數據管理原型系統，驗證課題組所提出方法的正確性和有效性。本項目取得的研究成果如下： 1. 為了建立海量數據管理問題的能量消耗複雜性理論、正確有效的分析和設計海量數據的存儲和存取方法以及求解各類海量數據管理問題的低能耗算法，我們首先探索了支持海量數據管理的計算系統的能量消耗機理。確定了計算系統各類資源的能量消耗因素；建立了相應能量消耗模型以及綜合能量消耗模型， 2. 在大規模並行處理框架的greenplum資料庫機群環境下，首先分析了集群與單機的差異，然後實驗測試了資料庫系統中主要能耗硬體在不同工作負載下的能耗表現情況。針對資料庫查詢中的不同操作，得到不同查詢操作與數據規模之間的聯繫，由此，建立硬體能耗、查詢操作以及數據集合大小之間的關係，建立能耗複雜性估算模型，並用實驗驗證了估算模型的正確性。 3. 在機群環境下數據備份、放置與節點調度方面，課題組研究並提出了數據備份個數固定的數據分布策略、基於訪問頻率的數據備份策略、基於訪問頻率的數據分布與放置策略、數據維護策略、批處理調度與Online調度以及支持空間關鍵字近似查詢的外存索引。 4. 在低能耗數據查詢與分析算法方面，課題組研究並提出了能量有效的分散式聚集操作、查詢計畫功率模型及基於功耗的查詢最佳化、基於時間和能耗的連線順序最佳化策略、基於虛擬化部署的高能效數據劃分與查詢處理、以及一系列海量數據查詢算法等。課題組發表學術論文21篇，其中在國際頂級學術會議VLDB發表1篇，在IEEE Transactions on Knowledge and Data Engineering、WWW J.等國際頂級期刊發表3篇，在DASFAA、Information Science等CCF B類期刊和會議發表論文4篇，其它SCI論文3篇，計算機研究與發展等國內一級刊物發表2篇，其它論文8篇。