《分散式記憶體環境下的大圖數據管理技術研究》是依託東北大學，由袁野擔任項目負責人的面上項目。
基本介紹
- 中文名：分散式記憶體環境下的大圖數據管理技術研究
- 項目類別：面上項目
- 項目負責人：袁野
- 依託單位：東北大學
中文摘要,結題摘要,
中文摘要
大數據，已經滲透到當今每一個行業和業務職能領域，成為重要的生產因素。在各領域中，大數據通常具有關聯性，從而產生了大圖數據，例如大型社交網路、語義Web 網路、生物信息網路等。本項目通過對大圖數據特點的分析、圖算法運作本質的探究、迫切的現實套用需求分析，以及對當前大圖數據管理技術不足的總結，提出用分散式記憶體系統來管理大圖數據。重點研究：（1）記憶體感知的大圖數據存儲，包括圖數據的物理存儲模型、圖數據的劃分和布局、感知壓縮處理；（2）大圖數據的分布並行查詢處理與最佳化，包括凝聚子圖查詢、關鍵字圖查詢和圖模式匹配查詢；（3）擴展SQL語句的圖拓撲提取查詢語言；（4）分散式記憶體系統的執行保證，包括執行任務的調度和系統的容錯恢復。相關研究成果將為大圖數據管理提供新的解決方案，進一步拓寬大圖數據的套用範圍，具有重要的理論意義與實際套用價值。
結題摘要
本項目的執行時間是2016.1——2019.12，這期間項目主要研究了圖資料庫理論與系統的各個方面，現總結如下：圖是計算機科學中最常用的一類抽象數據結構，在結構和語義方面比線型表和樹更為複雜，更具有一般性表示能力。雖然圖的套用和處理技術已經發展了很長時間，理論也日趨完善，但是隨著信息化時代的到來，各種信息爆炸式增長，導致圖的規模日益增大，如何對大圖數據進行高效處理，成為一個新的挑戰。1.在大圖存儲研究方面，提出了一種新穎的快取機制GraphCache，GCache由離線階段和線上階段組成，它們繼承了線上和離線快取算法的優點；研究了Web級圖數據的分散式存儲技術，用來進行再Web圖數據上的快速關鍵字查詢。2.在大圖分割方向提出了一種不確定圖分割算法，用以解決不確定圖的快速查詢問題；研究了一種基於社會影響力的道路網KNN查詢的圖分割算法；研究了在分散式環境下的關鍵字查詢技術，基於此在Web大圖數據的基礎上對圖數據進行初始隨機分區後對其進行重組，以使基於簽名的技術更加有效。3.大圖分散式查詢方面，提出了一種可用於分散式計算不確定圖可達性查詢策略DistR，用以快速解決不確定圖可達性查詢問題；在圖分割技術的基礎上，提出了一種用以解決結合社會影響力的道路網KNN查詢問題的高效索引；研究了在分散式環境中部署的Web規模圖的關鍵字搜尋，並提出了一種基於簽名的搜尋算法。4.本項目實施過程中，項目組已在TPDS、VLDB Journal、IEEE TKDE、VLDB、ICDE、KDD等國際權威期刊和國際會議上發表論文31篇，其中SCI期刊發表論文13篇，其中CCF A類論文13篇。培養畢業研究生12名，一人獲得東北大學優秀碩士論文，協助培養畢業博士研究生4名，一人獲得2019年CCF優博提名獎。
