雲環境下面向大規模圖數據處理的資源最佳化機制研究

《雲環境下面向大規模圖數據處理的資源最佳化機制研究》是依託東南大學，由東方擔任項目負責人的面上項目。

基本介紹

• 中文名：雲環境下面向大規模圖數據處理的資源最佳化機制研究
• 項目類別：面上項目
• 項目負責人：東方
• 依託單位：東南大學

中文摘要

隨著社交網路分析、語義Web分析等新興套用的快速發展，基於雲環境實現大規模圖數據的快速高效處理成為研究熱點。現有工作主要關注於提供圖數據處理基本執行框架及相關最佳化機制，沒有考慮資源分配對圖數據處理執行性能的影響，難以實現套用的高效執行。為此本項目以提高大規模圖數據處理執行性能為目標，基於虛擬化技術，分別從資源需求最佳化、資源初始分配最佳化及資源運行時最佳化入手，對雲環境下大規模圖數據處理資源最佳化關鍵技術進行深入研究：研究個性化圖數據劃分算法，通過對圖數據的有效劃分以減少執行所需資源；研究基於拓撲感知的虛擬資源高效分配機制，以最佳化資源初始放置；研究圖套用執行模式抽取與預測機制，並針對套用動態運行時資源最佳化問題，研究執行模式感知的虛擬機線上調整及最佳化機制，為圖套用高效執行提供資源保障。在此基礎上基於實際雲環境開發支持資源最佳化的大規模圖數據處理原型系統，為圖處理套用快速、高效執行提供理論和技術支撐。

結題摘要

本項目針對面向大規模圖數據處理的資源最佳化面臨的三個新的挑戰，重點研究了雲環境下大規模圖數據處理的資源最佳化關鍵技術，構建了支持資源最佳化的大規模圖數據處理原型系統，實現了大規模圖數據的快速高效處理。具體地，在理論研究方面，項目組提出了面向資源需求的圖數據個性化劃分機制、基於拓撲感知的虛擬資源高效分配機制、大規模圖數據執行模式抽取與預測機制、虛擬機線上遷移及頻寬動態分配機制等技術；在系統開發與平台搭建方面，基於項目理論研究成果，開發了支持資源最佳化的大規模圖數據處理原型系統，分別從資源需求最佳化，資源初始分配最佳化及資源動態運行時最佳化三方面入手，對底層資源分配過程進行全面最佳化，提高了圖數據處理套用的執行性能。在項目執行期內，項目組在包括JSAC、TPDS、TSC、WWWJ、ICPP、CLUSTER等在內的國際國內重要期刊和會議上共發表和錄用高質量論文39篇，申請/授權國家發明專利14項，申報軟體著作權1項，培養了一批在雲計算和大數據方向具有創新能力的優秀青年人才。推動了面向大規模圖數據處理的資源最佳化以及雲計算等相關領域的技術發展，圓滿完成了預期目標。此外，項目組還將研究成果成功套用到電子商務與智慧型製造領域，通過促進科研、技術與社會產業融合，取得了顯著的社會和經濟效益。相關成果還將廣泛套用到網際網路、社交網路、電子商務及生物計算等大規模圖數據分析套用中，進一步推動我國大數據分析挖掘領域的技術發展，為國家經濟建設服務。