《雲存儲中的協同糾刪碼技術》是依託湖南大學，由胡玉鵬擔任項目負責人的面上項目。
基本介紹
- 中文名：雲存儲中的協同糾刪碼技術
- 項目類別：面上項目
- 項目負責人：胡玉鵬
- 依託單位：湖南大學
中文摘要,結題摘要,
中文摘要
隨著雲存儲中心的快速發展，存儲數據量從PB到EB甚至到ZB，網路規模和存儲節點數量呈爆炸式增長，數據失效率卻越來越高。雲存儲中心往往將冷數據編碼轉換為糾刪碼分塊，從而在保障數據可靠性的同時儘可能節省存儲系統開銷。然而，糾刪碼技術仍然依賴於傳統的集中式處理模式，編/解碼的系統開銷大，難以適應雲存儲環境下的數據密集型處理需求。. 項目針對雲存儲系統的冷數據處理特點，研究高效的協同糾刪碼技術，主要從編碼機制層面研究複雜網路環境下節點間的並行編/解碼技術：研究基本協同編碼模式，將密集的數據編碼任務分配到多個節點協同完成，緩解局部網路性能瓶頸；研究面向多副本的協同糾刪碼技術，協調多個節點並行地將冷數據副本歸檔為糾刪碼分塊；研究自適應協同糾刪碼生成技術，能在複雜網路拓撲下自適應地選擇最優節點進行協同編碼；研究基於隨機分組的協同糾刪碼技術，降低數據恢復的網路開銷；並搭建原型系統，綜合評估所提技術。
結題摘要
項目從混合雲存儲平台體系結構及支撐系統的研究入手。對分散式網路存儲系統中的固態節點失效特性以及整個雲存儲網路系統內節點的失效特性進行了研究，進行了分析，在歸納多個失效或隨機差錯影響參數的基礎上，總結出在多種系統物理參數影響下的節點間的非均勻失效特性，並建立了參考模型。可用於解決大規模分散式網路存儲系統的高節點失效率問題，有效降低系統的恢復開銷，提高數據訪問的吞吐量，提高系統性能。研究出了適合固態存儲系統的低功耗的多種容錯編碼技術，DERS編碼算法可用於緩解固態存儲系統中LDPC糾錯算法的錯誤翻轉擴散問題，減少循環疊代次數，有效提高系統糾錯能力和性能。權值多比特翻轉LDPC解碼方法可用於最佳化快閃記憶體系統的LDPC糾錯編碼性能，有效提高系統吞吐率和糾錯能力。針對雲存儲網路環境下的非均勻失效特性的UFP-LRC糾刪碼技術，能有效降低系統恢復開銷，提高雲存儲系統性能。可用於最佳化NDN網路系統的快取效率，提高快取數據的命中率，提高系統性能。針對雲存儲數據的訪問頻率不均勻的特定，提出海量冷數據進行掃描，抽取出已經冷卻的數據，從而進行糾刪碼編碼操作，可用於在保證數據可靠性和不大幅增加計算與通信開銷的前提下，大量縮減。研發了一套能對存儲數據進行容錯和糾刪編碼處理的原型存儲系統，並成功用於省公安廳電子政務大數據安全管理平台。
