分散式網路中基於糾刪編碼的存儲機制及其最佳化

《分散式網路中基於糾刪編碼的存儲機制及其最佳化》是依託天津理工大學，由徐光平擔任項目負責人的青年科學基金項目。

基本介紹

• 中文名：分散式網路中基於糾刪編碼的存儲機制及其最佳化
• 項目類別：青年科學基金項目
• 項目負責人：徐光平
• 依託單位：天津理工大學

項目摘要

隨著網路和通信技術的發展，以網際網路為支撐的分散式存儲系統具有廣闊的前景和發展空間，例如對等存儲、雲存儲等。這與傳統的數據存儲模式不同，網路的分布性、動態性和異構性導致數據存儲難以處於理想可用的狀態，這亟需高可靠、高可用和高性能的數據存儲策略。為此，基於糾刪編碼的數據存儲成為當前倍受關注的研究方向。.本項目在認識分散式網路特性的基礎上，根據多種糾刪編碼的容錯特性，綜合考慮存儲空間開銷、網路頻寬消耗、數據訪問模式以及數據存儲的可靠性等因素，研究可靠高效的數據編碼存儲機制及其最佳化。主要體現在以下幾個方面：(1)通過對具有良好特性的編碼擴展，研究適應網路特點和存儲需求的編碼構造；(2)研究在多種約束條件下的編碼數據的最佳化布局；(3)研究高性能編碼數據重構的調度算法；(4)設計原型系統進行驗證和評價。本項目有望豐富多容錯糾刪編碼的理論研究，而且有望為布式網路存儲提供創新技術支持。

結題摘要

隨著網路和通信技術的發展，以網際網路為支撐的分散式存儲系統具有廣闊的前景和發展空間，例如對等存儲、雲存儲等。這與傳統的數據存儲模式不同，網路的分布性、動態性和異構性導致數據存儲難以處於理想可用的狀態，這亟需高可靠、高可用和高性能的數據存儲策略。為此，基於糾刪編碼的數據存儲在分散式網路存儲中日益得到工業界和學術界的重視。 本項目在認識分散式網路特性的基礎上，根據糾刪編碼的容錯特性，綜合考慮存儲空間開銷、網路頻寬消耗以及數據存儲的可靠性等因素，對可靠高效的數據編碼存儲機制及其最佳化進行了研究。我們按照項目既定的計畫，圓滿地完成了預期的研究任務。主要的研究工作體現在以下幾個方面： (1)提出了一種新的支持線上連續擴展的糾刪編碼方法。該編碼在雙容錯的前提下，支持網路存儲節點的連續擴展，具有優越的擴展開銷；通過最佳化正則圖中圈的長度，最佳化了編碼容錯能力，並給出了相應的算法。 (2)在對關聯故障的內在連線特性分析的基礎上，研究了二元糾刪編碼的存在性，給出了算法證明，並且提出了一種低密度的編碼構造方法。 (3)利用交換圖模型研究了最佳化複製編碼，將存儲開銷最佳化問題形式化抽象為裝箱問題，並利用二部圖模型描述，提出了基於禁忌搜尋的最佳化算法。 (4)針對網路節點的存儲能力的異構性，利用整數拆分理論提出了一種最佳化數據布局算法，建立加權的k-out-of-n的可靠性模型，對MDS編碼存儲數據塊最佳化分布，增強數據存儲的可靠性，並進行了性能評價分析。 (5)研究分散式存儲系統擴容過程中數據管理的核心問題及其算法，構建了擴容數據空間管理的框架，針對數據空間收集和分配的最佳化問題，進行了形式化描述，分別提出了相應的最佳化算法，並且進行大量的實驗，結果表明這些算法相比已有的算法具有顯著的優勢。 (6)在OpenStack Swift基礎上構建了存儲集群原型，對上述的編碼存儲中涉及的算法提供了一套可程式訪問接口，對上述的理論研究進行驗證和存儲性能評價分析。 綜上，本項目按計畫完成了規定的研究內容，達到了預期目標。本項目研究成果不僅在理論上研究了糾刪存儲編碼構造機制，而且對分散式網網路存儲提供了有效的技術方法支持。