基於網路編碼的分散式存儲容錯機制研究

《基於網路編碼的分散式存儲容錯機制研究》是依託中國科學技術大學，由許胤龍擔任項目負責人的面上項目。

基本介紹

• 中文名：基於網路編碼的分散式存儲容錯機制研究
• 項目類別：面上項目
• 項目負責人：許胤龍
• 依託單位：中國科學技術大學

中文摘要

隨著網路上的信息量、磁碟存儲量、網路頻寬和計算資源的增長，分散式存儲系統及其相關套用正在快速發展。網路編碼作為資訊理論的一個新興領域，越來越多的研究領域因網路編碼理論而迅速拓展。本項目擬開展基於網路編碼的分散式存儲容錯機制研究，具體研究內容包括:(1)根據分散式存儲系統中的性能參數和成本參數構建分析模型，設計用於數據容錯的網路編、解碼算法以及相應的數據存儲方法，降低數據冗餘度，提高數據可靠性；(2)針對基於網路編碼的存儲方法，研究用戶數據訪問機制與故障節點的數據恢復機制，降低用戶訪問延時、數據恢復過程中的網路負載與恢復延時；(3)設計出錯編碼塊的檢測機制，防止出錯數據塊在存儲系統中蔓延；(4)研究動態分散式網路存儲中自適應的網路編碼策略與相應的數據存儲策略，以提高動態分散式網路存儲的系統性能；(5)實現一個基於網路編碼的分散式存儲的原型系統，實驗驗證相關網路編碼策略與數據存儲策略的性能。

結題摘要

本項目的實施過程中，共發表與錄用論文22篇，其中IEEE Transactions系列雜誌論文9篇，國家發明專利1項，研發了一套分散式存儲研究平台，培養博士畢業生4名，碩士畢業生4名。具體研究內容與所取得的主要成果有： （1）針對基於網路編碼容錯的存儲系統，分析了達到存儲開銷最小的編碼方式，給出了數據修復過程中兩個編碼步驟所需滿足的條件。根據所滿足的條件，設計了一種確定性的編碼算法與數據恢復算法。該確定性算法僅依賴較小的有限域，就能保證百分之百的線性無關性。而原有基於網路編碼的存儲機制則採用基於隨機線性編碼的方法，需要很大的有限域，從而帶來了很大的存儲開銷和計算開銷，實際套用中難以實現。 （2）RAID-6是常用的容兩節點故障的存儲系統。針對三種最常用的RAID-6編碼：RDP、EVENODD和X-Code，我們首次提出了綜合利用兩個校驗節點進行單節點故障恢復，分析了它們在單節點恢復時的數據傳輸量的理論下界，並分別為它們設計了數據傳輸量最優的單節點故障恢復算法。相比於傳統恢復算法，新設計的混合修復算法所需要讀取的數據量減少了25%，提高恢復速度。該方法也為容錯編碼系統提出了新的設計理念，成果被廣泛引用。 （3）與香港中文大學實驗室合作開發了一個開源的基於網路編碼的分散式檔案系統NCFS。在NCFS中實現了RAID-5, RAID-6, Reed-Solomon, Cauchy Reed-Solomon, E-MBR等多種編碼機制，並將其部署在了一個由15台機器組成的存儲集群中。基於NCFS，我們獨立開發了檔案存儲系統DSRP，該系統支持基於糾刪碼的編解碼、故障修復、重複數據刪除以及磁碟擴容等多種實驗設定，開展存儲系統相關的實驗研究。 （4） 針對基於網路編碼的檔案系統的抗污染攻擊問題，提出了一種密鑰分發機制。該機制使中間節點和接收者可以檢測接收到數據包的正確性。相對於傳統基於密鑰預分發的方法，該新型機制計算開銷低、容錯能力更強、可以抗標籤污染攻擊。 （5）開展了網路編碼在基於無線網路的檔案分發系統、基於網路編碼的路由器系統、基於網路編碼的VOD系統的檔案存儲與檔案分發等多方面的研究，我們提出了一系列的基於網路編碼的數據分發方法，提高了檔案分發的效率。