《大規模檔案系統中元數據高效訪問方法研究》是依託北京航空航天大學，由肖利民擔任項目負責人的面上項目。
基本介紹
- 中文名：大規模檔案系統中元數據高效訪問方法研究
- 依託單位：北京航空航天大學
- 項目負責人：肖利民
- 項目類別：面上項目
項目摘要,結題摘要,
項目摘要
大規模檔案系統是應對大數據存儲需求的重要技術途徑之一，其元數據的訪問方法是當前國內外研究熱點。然而，現有研究難以滿足大規模檔案系統在大規模目錄樹結構、大規模檔案數量、密集型元數據訪問、並發多類型負載等方面的新挑戰：檔案查找、搜尋、創建等典型操作中因檔案系統規模擴展導致的快取空間利用率降低、檔案搜尋空間增大、元數據訪問局部性缺失、並發訪問資源競爭加劇等元數據訪問性能問題。本項目以提高大規模檔案系統中元數據訪問性能為目標，以元數據操作的I/O路徑為主線，研究元數據高效訪問的新方法：基於目錄子樹分區和反向鍊表快取結構的檔案查找方法、基於目錄級多維可伸縮Bloom Filter的檔案並行搜尋方法、基於多階段提交協定和元數據聚合機制的檔案並行創建方法以及支持元數據服務質量的元數據訪問性能保障方法。項目研究工作對提高大規模檔案系統整體性能和可擴展能力、促進大數據領域技術創新具有重要的理論意義和套用價值
結題摘要
大規模檔案系統是應對大數據存儲需求的重要技術途徑之一，其元數據訪問性能最佳化是當前國內外研究重點。項目分別從檔案查找、檔案搜尋、檔案並發創建、元數據負載服務質量保障等方面，研究元數據訪問性能最佳化方法，提高大規模檔案系統的元數據IO性能。 項目主要的研究內容及取得的成果如下： （1）基於目錄子樹分區和反向鍊表快取結構的檔案查找方法。針對現有檔案查找方法存在的目錄查找表存儲開銷高問題，提出了基於目錄子樹分區和反向鍊表快取結構的檔案查找方法，可提高目錄查找表快取的空間利用率，並降低檔案查找的平均時延。 （2）基於目錄級多維Bloom Filter的檔案並行搜尋方法。針對現有檔案搜尋方法存在的準確度低、額外存儲開銷高及串列化搜尋性能低等問題，提出了基於目錄級多維Bloom Filter的檔案並行搜尋方法，可提高多元數據伺服器環境中的檔案搜尋性能。 （3）基於多階段提交協定和元數據聚合機制的檔案並行創建方法。針對現有檔案創建方法存在的元數據訪問局部性缺失問題，提出了基於多階段提交協定和元數據聚合機制的檔案並行創建方法，可提高檔案並發創建的執行效率。 （4）支持元數據服務質量的元數據訪問性能保障方法。通過分析不同類型的元數據訪問負載性能特點和需求，建立了元數據服務質量的描述機制和轉換方法以及資源分配方法，可避免多並發負載之間的相互影響，並保障多負載環境中元數據訪問的整體性能。 （5）在原型系統中驗證了項目所提方法的效果。以典型的基準測試程式和真實應用程式的Trace記錄為基礎，通過研發支持上述項目所提方法的原型系統，驗證並評價了項目所提方法的效果。實驗結果表明，相比於當前最新研究方法，本項目所提方法能夠提高元數據查詢性能約17.1%，提高元數據搜尋性能約2倍，提高密集型元數據並發創建性能約80%，並保障多種類型元數據負載並發訪問的服務質量，完全滿足項目計畫書中對元數據訪問性能最佳化的預期指標。 基於項目的研究成果，項目組在JSC、JCST、HPCC、FPT等高水平期刊和國際會議中，共發表了45篇學術論文，其中，SCI檢索16篇，EI檢索29篇；申請了發明專利 10項，其中4項已獲得授權；培養了5名博士生和7名碩士生，其中已畢業3名博士生和6名碩士生；項目在檔案搜尋最佳化方面的研究成果已套用於航天恆星科技有限公司項目“EB級數據存儲架構理論與關鍵技術” 建立的存儲系統中。
