支持多執行引擎的分散式圖處理系統關鍵技術研究

《支持多執行引擎的分散式圖處理系統關鍵技術研究》是依託北京大學，由崔斌擔任負責人的面上項目。

基本介紹

• 中文名：支持多執行引擎的分散式圖處理系統關鍵技術研究
• 項目負責人：崔斌
• 項目類別：面上項目
• 依託單位：北京大學

項目摘要

圖數據是大數據的一種重要數據類型，隨著社交網路、交通導航、生物分析等系統套用的發展，不同領域中出現了各種類型的圖數據，其數據規模也呈現出爆炸性的增長，給圖數據管理領域的研究和開發人員提出了新的研究課題。現有的大規模圖數據處理和分析系統，如Pregel、Giraph、GraphLab等，尚存在分散式計算同步執行效率不高、複雜算法難以最佳化、增量計算支持不足和開發使用困難等問題。本項目申請擬針對大規模圖數據分散式處理系統設計的關鍵技術展開研究，具體研究內容包括系統架構設計、圖數據的組織和存儲、圖計算任務執行、圖算法的設計和最佳化。通過此項目研究，我們力爭在上述研究領域取得國際領先的學術成果，同時在理論研究的基礎上研製支持多執行引擎的分散式大規模圖數據處理原型系統，驗證本項目研究中提出的新理論和技術。

結題摘要

圖數據是大數據的一種重要數據類型，隨著社交網路、交通導航、生物分析等系統套用的發展，不同領域中出現了各種類型的圖數據，其數據規模也呈現出爆炸性的增長，給圖數據管理領域的研究和開發人員提出了新的研究課題。現有的大規模圖數據處理和分析系統，如Pregel、Giraph、GraphLab等，尚存在分散式計算同步執行效率不高、複雜算法難以最佳化、增量計算支持不足和開發使用困難等問題。本項目針對大規模圖數據分散式處理系統設計的關鍵技術展開研究，具體研究內容包括系統架構設計、圖數據的組織和存儲、圖計算任務執行、圖算法的設計和最佳化。課題組開展一系列相關的研究工作，提出了多項支持大規模圖數據管理相關技術和方法，撰寫並發表論文31篇，其中CCF A類論文22篇；申請專利5項。在課題進行期間，有2名博士後、13位研究生參與研究工作，其中5名博士和4名碩士畢業。部分研究成果在騰訊公司得到實際套用。