《海量存儲系統的可用性模型及度量算法研究》是依託哈爾濱工業大學，由溫東新擔任項目負責人的面上項目。
基本介紹
- 中文名：海量存儲系統的可用性模型及度量算法研究
- 依託單位：哈爾濱工業大學
- 項目類別：面上項目
- 項目負責人：溫東新
項目摘要,結題摘要,
項目摘要
隨著雲存儲及線上套用服務為主的大數據時代到來，對於海量存儲系統中未預料的故障或停機等造成的損失及服務的有效性越來越受到重視，使得海量存儲系統可用性研究成為了新的熱點,如何評價海量存儲系統的可用性即海量存儲系統可用性度量問題又成為一個新的研究課題。本課題通過對海量存儲系統的可用性模型的研究，建立海量存儲系統可用性度量的理論架構。通過海量存儲系統軟體及硬體故障模型、故障分布、系統可維修度分布，進行可用性度量的研究，建立新的海量存儲系統故障傳播模型；結合實際海量存儲系統運行日誌及經典海量存儲系統日誌，研究海量存儲系統部件故障覆蓋率模型和故障分布模型；研究系統維護最佳化模型，提出新的系統維護策略機制；研究高可用海量存儲系統在穩態及降級狀態的系統性能影響度，提出平衡最佳化海量存儲系統可用性及高性能之間的平衡配置策略，為在海量存儲系統研製全過程及系統驗收運行中,保障系統的持續服務能力提供理論技術支撐。
結題摘要
近年來由於信息技術尤其是移動網際網路技術的發展,網路上的信息資源呈現出指數級的增長,大量不同類型不同結構的信息需要進行處理和傳輸,這一切都表明大數據時代已經到來了。很多企業和研究機構正努力建設自己的數據中心,以滿足海量數據的存儲和管理。可用性是存儲系統的一個重要屬性，對存儲系統可用性的研究越來越受到人們的重視。研究內容包括：基於存儲系統架構的可用性評估；基於檔案系統的數據存儲與組織模式的高可用性研究；基於Alluxio的數據管理機制和可用性機制。 利用模型法計算存儲系統可用性是評估系統可用性的一種常用方法，通常需要使用可用性建模工具輔助建模與計算。本課題對傳統的可用性模型計算工具進行了深入的研究，發現了兩點不足，一是不支持自頂向下逐步求精的層次化建模方法，在易用性方面有提升空間；二是只考慮了通用性，沒有針對存儲系統的特點做相應的最佳化。本課題在這兩方面進行了改進，設計並實現了存儲系統可用性模型拓展工具，工具支持可靠性框圖和馬爾科夫模型相結合的層次化建模方法，並結合存儲系統的特點，綜合考慮了故障率、維修率、故障檢測時間、故障檢測延遲、故障檢測覆蓋率、維修人員回響時間等因素的影響，提高了可用性計算的準確度。 課題針對元數據管理的最佳化技術提出最佳化機制並進行了實驗測試與性能的綜合對比，進行了功能測試與性能測試，從備節點可以接替故障節點向外服務，以及新的高可用性組合節點可以成功啟動來驗證最佳化技術的功能，從最佳化機制與系統原HA機制的檔案讀寫時間對比，節點故障切換時間與數據完整一致性幾個角度來驗證最佳化機制的性能。對元數據快取的新替換策略進行了不同的數據訪問模式下的快取命中率的測試，得出新策略可以提高元數據的快取命中率。本課題提出的最佳化機制與快取新替換策略都可以達到提高系統可用性的設計要求。 課題在基於Alluxio的數據管理機制和可用性機制研究中，依據關聯規則與替換策略在遠程場景下進行數據預取，避免由於網路等原因導致的對外業務不可用，同時由於將熱數據長久的保留在Alluxio中，降低了套用訪問數據的延遲，減少訪問底層存儲的次數，降低網路高負載時的通信壓力，降低整個系統發生宕機情況的故障率，從而提高了系統對外業務的可用性。異步存儲策略能夠在異步情況下儘可能的保證數據的可用性，避免網路傳輸數據，減輕網路壓力，同時能保證數據完整一致性等性能指標。
