具重複數據刪除大規模存儲系統可靠性技術研究

《具重複數據刪除大規模存儲系統可靠性技術研究》是依託北京郵電大學，由王春露擔任項目負責人的面上項目。

基本介紹

• 中文名：具重複數據刪除大規模存儲系統可靠性技術研究
• 項目類別：面上項目
• 項目負責人：王春露
• 依託單位：北京郵電大學

項目摘要

隨著數據的爆炸性增長和總擁有成本的不斷上升，重複數據刪除技術現已成為大規模存儲系統中的重要組件。海量數據可靠性是數據組織管理和套用的基礎。為了提高存儲存儲系統的利用率，目前普遍採用的帶重複數據刪除的存儲系統中，其數據可靠性卻大大降低了。本項目擬總結和分析當前主要的大規模存儲數據高可靠性保證機制和算法，在此基礎上，針對帶重複數據刪除的大規模存儲系統的特殊特點，擬提出和設計一種適用和高效的數據高可靠性保證機制及算法-TH-ADMAD。TH-ADMAD綜合套用糾錯碼ECC和分散式編碼及恢復算法，在保證數據可靠性要求基礎上，充分發揮存儲效率。項目研究對於充分發揮海量數據存儲組織效率，提高數據可靠性具有重要理論和實踐意義。

結題摘要

隨著數據的爆炸性增長和總擁有成本的不斷上升，重複數據刪除技術現已成為大規模存儲系統中的通用組件。因為任何一個數據存儲和管理系統的根本基礎在於數據的可靠性，即被存儲和管理的數據及信息是可用的和正確的，沒有被刪改的。但在帶重複數據刪除的存儲系統中，其數據可靠性卻大大降低了。 本項目在總結和分析當前主要的大規模存儲數據高可靠性保證機制和算法基礎上，針對帶重複數據刪除的大規模存儲系統的特殊特點，提出和設計一種適用和高效的數據高可靠性保證機制。該機制綜合套用糾錯碼ECC和分散式編碼及恢復算法，在保證與現有最有的算法差不多可靠性的同時更好利用存儲空間，提高恢復速度。本項目設計和實現了大規模存儲存儲可靠性評價模擬器，對本項目提出的機制與現有主要高可靠性保證機制進行定量測試、比較和評價。 近年來，隨著雲計算的廣泛使用和深入，如何保證雲存儲數據可靠性是一個重要的問題。在本項目的重複數據刪除的大規模存儲系統的數據可靠性保證機制中，將每個ISN替換成一個雲存儲提供商，那么原來的算法和保證機制都可以運用到雲計算中了。因此利用本項目前期研究成果，從成本的角度出發，將數據可靠性保障擴展到雲計算環境下，提出了一種“富雲”的數據容災模型，即成本相關的雲提供商高可靠性保證算法CAHRPA（Cost Aware High Reliability Provision Algorithm）。CAHRPA以恢復時間RTO和容災成本作為最佳化目標，基於多目標離散化差分進化算法，實現了一種成本最佳化的高可靠性數據容災方案。