基於雲計算平台的大規模圖數據處理技術及套用的研究

《基於雲計算平台的大規模圖數據處理技術及套用的研究》是依託復旦大學，由汪衛擔任項目負責人的面上項目。

基本介紹

• 中文名：基於雲計算平台的大規模圖數據處理技術及套用的研究
• 依託單位：復旦大學
• 項目類別：面上項目
• 項目負責人：汪衛

項目摘要

當前在WEB、生物信息等套用中經常需要面臨大規模圖數據的處理問題，由於其數據規模非常龐大，需要在分散式平台上進行計算，而雲計算平台恰恰提供了一個穩定的、具有可擴展性的分散式計算平台。項目將以研究基於雲計算平台的圖數據處理系統的實現技術為目標，針對雲計算平台的特點和計算模式，從支撐平台技術、基於雲計算平台的圖數據處理技術及在基因序列拼接、社會媒體數據管理的套用三個層次展開研究。重點研究大規模圖數據的快速分割算法、多語義層次圖數據建模方法、面向圖數據處理流程的模組重要性分析方法、雲平台上的分散式圖索引結構、基於雲計算平台的社團分析算法、富內容節點網路的管理方法等方面的問題，力求形成突破。爭取在國內外重要學術刊物上發表20篇高質量學術論文; 培養博士生2名，碩士生4名；並申請專利兩項。項目具有一定的實踐意義和理論意義。

結題摘要

隨著大數據時代的到來，圖數據的處理成為資料庫領域的關鍵技術。本項目針對大規模圖數據的處理問題，從雲計算平台、圖數據處理方法以及套用三個層次上展開研究。在面向圖數據處理的雲計算平台方面主要針對圖數據處理的過程中需要處理的圖分割問題進行了研究。項目針對Map/Reduce計算框架，提出了基於多級標籤傳播的圖數據分割算法，該算法可以實現對千萬級節點的高效劃分。同時還提出了一種基於動態的圖分割算法，該方法通過不斷調整邊和節點的位置實現圖分割中的平衡。在圖數據處理方法層面，項目提出了新的社團搜尋的模型和高效的可重疊社團搜尋算法，實驗表明算法具有較好的性能。同時還基於圖分割算法研究了PageRank算法的實現方法，由於實現的數據的分布，所以算法具有較高的效率。在套用層面，項目結合實際的數據研究了圖數據分析在生物數據檢索和社交網路構建中的套用方法。圍繞項目的研究，在SIGMOD、VLDB等學術會議上發表了18篇高水平論文，並培養的12名碩士研究生和8名博士研究生。本項目的部分研究成果獲得了教育部自然科學二等獎。