《機群檔案系統小檔案I/O訪問性能最佳化方法研究》是依託北京航空航天大學，由肖利民擔任項目負責人的面上項目。
基本介紹
- 中文名：機群檔案系統小檔案I/O訪問性能最佳化方法研究
- 依託單位：北京航空航天大學
- 項目負責人：肖利民
- 項目類別：面上項目
項目摘要,結題摘要,
項目摘要
小檔案I/O訪問是機群檔案系統重要性能瓶頸之一，其性能最佳化是當前國內外的熱點研究課題，現有的相關研究工作主要從I/O訪問模式、檔案系統體系結構和檔案請求處理三方面來開展。針對現有研究還存在的數據分條和冗餘連結延遲等問題，以如白棵翻何在不影響大檔案I/O訪問性能的前提下，最佳化小檔案I/O訪問性能為目標，以小檔案I/O性能瓶頸的源頭（元數據伺服器、I/O伺服器、客戶端）為主線，基於I/O訪問處理過程，通過改進現有的元數據鑽凝坑照填充等方法，研究機群檔案系統小檔案I/O訪問性能最佳化的新方法：提煉小檔案I/O訪問模式，建立面向小檔案的存儲最佳化、動態遷移最佳化、客戶端快取最佳化新方法並研製原型系統。從I/O性能最佳化理論入手、理論與實踐互相促進、以實踐為目標，探討了增強、改進和創新機群檔案系統性能最佳化的新理論和新方法。對機群I/O瓶頸緩解、機群整機性能和企業高效能計算能力提高章汗疊都具有重要理論研究和工業實踐意義。
結題摘要
科學計算、商業計算等多種領域的套用均產生大量的小檔案負載。由於目前小檔案的I/O性能受限於機群檔案系統的體系結構設計，提高小檔案的性能成為機群檔案系統領域中的研究熱點。課題分別從小檔案的I/O訪問模式、面向小檔案的存儲最佳化方法、面向小檔案的動態遷移模型和小檔案的客戶端快取方法等方面，研究相應的最佳化方法，提高小檔案負載的I/O訪問性能。主要的研究內容和成果如下： （1）小檔案的I/O訪問模式。分析了機群檔案系統中處理檔案請求的路徑，建立了機群檔案系統小檔案訪問的開銷模型，分析了機群檔案系統中小檔案的訪問瓶頸；建立了小檔案訪問模式的多維度分類方法，並對比了若干典型I/O負載中的小檔案訪問模式；通過分析了現有方法所存在的不足，提出了消除小檔案訪問瓶頸所需要解決的一系列問題。 （2）面向小檔案的存儲最佳化方法。針對機群檔案系統的體系結構設計所產生的小檔案訪問瓶頸，提出了基於元數據填充的存儲最佳化方法和基於數據檔案的存儲最佳化方法，避免了數據分條產生的小檔案性能開銷。實驗結果表明，該方法能夠顯著提高小檔案的元數據和數據訪問性能。 （3）面向小檔案的動態遷移模型。針對基於元數據填充技術的小檔案最佳化方法可能導致的元數據伺服器過載問題，建立了小檔案閾值的長期和短期權整射衡模型，動態決策小檔案的存儲位置，並通過在檔案系統伺服器間動態遷移小檔案負載，以避免對正常元數據負載的性能影響。實驗結果表明，在不影響元數據負載性能的前提下，該方只項灑勸法能最大程度地提高小檔案的訪問性能。 （4）小檔案的客戶端快取方法。針對高並發負載環境下基於數據塊索引的快取結構所產生的小檔案快取性能問題，提出了一種基於混合快取管理策略的客戶端數據快取最佳化方法。該方法結合對象索引和數據塊索引快取管理策略的優勢，通過區分大小檔案的快取替換和數據管理策略。實驗結果表明，該方法能夠提高了小檔案的快取性能，並有效降低小檔案的訪問延遲。 基於上述研究成果，課題在JPDC、IJNAM、Computer Journal、中國通信、計算機民剃愉學報、PDCAT2012、CCGrid2012等高水辣殃講平期刊和會議中，共發表了30篇學術論文，其中SCI檢索6篇，EI檢索26篇；申請了發明專利9項，其中5項已獲得授權。課題在小檔案存儲最佳化和快取數據管理兩方面的成果已分別套用於聯想集團“深騰7000”百萬億次高性能計算機和中標軟公司“中標麒麟”安全雲作業系統中。
