《並行檔案系統中大規模I/O伺服器間負載平衡方法研究》是依託北京航空航天大學，由阮利擔任項目負責人的青年科學基金項目。
基本介紹
- 中文名：並行檔案系統中大規模I/O伺服器間負載平衡方法研究
- 依託單位：北京航空航天大學
- 項目負責人：阮利
- 項目類別：青年科學基金項目
項目摘要,結題摘要,
項目摘要
大規模I/O伺服器間的並行訪問是並行檔案系統重要的性能瓶頸之一,其負載平衡是當前國內外高效能計算機領域的重點研究課題。現有相關研究主要是從負載建模和負載平衡算法等方面來開展。針對現有研究存在的難以適應高效能計算機的I/O伺服器數量劇增和複雜的I/O訪問模式等新需求、平衡算法的適應性等問題，通過深入分析典型高性能計算套用和高效能計算機系統的體系結構，基於負載平衡基本處理流程，研究並行檔案系統中I/O伺服器間負載平衡新方法：提煉伺服器間I/O訪問模式，建立面向大規模I/O伺服器間的負載模型、分散式平衡算法、負載預測算法和檔案動態遷移算法並研製原型系統。從並行I/O性能最佳化理論入手、理論與實踐互相促進、以實踐為目標，探討了增強、改進和創新並行檔案系統性能最佳化的新理論和新方法。對並行I/O瓶頸緩解、高效能計算機整機性能和企業高效能計算能力提高都具有重要理論研究和套用價值。
結題摘要
隨著I/O伺服器規模的增大，並行檔案系統中I/O 伺服器間的負載失衡逐漸成為並行I/O 性能提升的新瓶頸。本課題基於負載均衡基本處理流程，研究了並行檔案系統中 I/O 伺服器間負載均衡新理論和新方法：提煉了科學計算程式的I/O 訪問模式，建立了面向大規模 I/O 伺服器間的負載模型、分散式均衡算法、負載預測算法和檔案動態遷移算法並研製原型系統。主要的研究內容和成果如下： （1）大規模I/O伺服器的負載模型。分析了典型的科學計算程式訪問模式，實驗測試了I/O伺服器的負載時空變化情況，分析總結了I/O伺服器間負載失衡發生的根源。發現了不同的檔案請求大小會導致不同的I/O伺服器負載的規律，基於該發現進而提出了一種複合負載性能指標，以準確刻畫伺服器的負載特徵。 （2）分散式負載平衡算法。針對當前負載均衡方法擴展性和高可用性低等問題，提出了一種基於分散式決策的負載均衡方法，以滿足大規模並行檔案系統的負載均衡的擴展性需求。該方法採用的自適應負載收集機制可使 N個數據伺服器之間的信息交換量在最壞的情況下降低到 1/2 N^2。 （3）線上負載預測方法。針對當前的負載均衡方法忽略了負載決策延遲等問題，提出了一種基於AR的性能預測模型，減少了負載收集導致的決策延遲。此外，本研究還發現了並行檔案系統伺服器的負載統計特性具有很高的局部特徵。 （4）動態檔案遷移方法。針對通過動態檔案重分配來實現負載均衡需停止整個系統服務等問題，提出了一種動態檔案遷移方法，實現了伺服器間負載線上轉移。建立了遷移對象選擇最佳化模型和檔案一致性策略，有效地降低了動態檔案遷移的副作用。 （5）基於PVFS2.8.2實現了本研究提出負載均衡方法的原型系統。實驗表明本研究與傳統集中式負載均衡方法相比，本方法可減少11.36%的檔案請求回響時間和10.31%的伺服器負載方差。 基於上述成果，課題在本領域的CCF推薦高質量期刊和會議國際期刊會議，如JPDC，IJHPCN，China Communication，AMIS，Journal of Network，軟體學報， Grid12，CCGrid12，PDCAT，HPCC，ICAAPP等上，共發表高質量論文20篇。其中，SCI檢索期刊論文5篇，EI檢索15篇（EI期刊論文5篇，EI會議論文10篇）。申請了發明專利5項，其中2項已獲得授權。
