《基於糾刪碼的大規模存儲集群重構最佳化技術》是依託華中科技大學，由萬勝剛擔任項目負責人的青年科學基金項目。
基本介紹
- 中文名：基於糾刪碼的大規模存儲集群重構最佳化技術
- 項目類別：青年科學基金項目
- 項目負責人：萬勝剛
- 依託單位：華中科技大學
中文摘要,結題摘要,
中文摘要
大規模存儲集群是當前雲存儲與大數據存儲系統的基礎平台,所包含的成千上萬軟體與硬體部件隨時都可能失效，從而導致服務中斷甚至數據丟失等嚴重問題。傳統基於多副本冗餘技術在數據量增大時，其運營成本急劇上升，因此使用存儲效率更高的糾刪碼技術成為必然，但傳統糾刪碼具有較差的重構性能。針對這一問題，觀察到集群內冗餘存儲單元、存儲節點和網路上下鏈路使用情況和失效模式具有較強的非平衡性，因此本課題研究通過調度存儲集群內的大量處理、傳輸與存儲資源，通過優先恢復低可靠性條帶的數據，適當延遲正常用戶請求以加快降級讀請求，及利用糾刪碼編碼規則提高條帶內重構的並行性，設計加快糾刪碼存儲集群的數據重構過程的方法和機制，從而提高系統整體性能、可用性及可靠性。在保持可靠性的同時，有效降低雲存儲與大數據存儲系統的冗餘成本。
結題摘要
作為大規模網際網路服務、大數據處理以及雲存儲的基礎，大規模存儲集群被廣泛部署數據中心中。存儲集群通常由大量的基於商用軟硬體構建的的獨立的存儲節點構成，因此，節點失效難以避免。為了緩解節點失效帶來的數據可靠性與可用性的降低，數據冗餘技術被大量使用。隨著數據集規模的不斷擴大，數據冗餘帶來的額外開銷已經不容忽視，因而具有更低存儲開銷的基於糾刪碼的數據冗餘技術被提出以取代高存儲開銷的基於副本技術的數據冗餘技術。然而，相對於副本技術，糾刪碼技術存在著數據恢複流量高引發的數據恢復時間長、降級讀性能低等一系列問題，為了緩解上述問題，特提出並開展本研究。 本研究從以下4個方面展開：（1）失效的建模與仿真研究，主要研究各種節點失效事件及規律及其對存儲集群的各方面影響，建立了2個相關數學模型並開發了1個開源仿真工具；（2）新型糾刪碼研究，主要研究適合存儲集群特性的新型糾刪碼，例如，設計了一類具有高容錯能力（高達12）及低修復代價的非最大可分距離碼；（3）重構/可靠性最佳化研究，主要研究利用調度系統級資源，達到加速數據恢復、提升系統可靠性/可靠性及性能的方法，例如，設計了一種通過提前多錯條帶重構提高副本集群（糾刪碼集群同樣有效）數據可靠性最佳化方法，即使是在三副本集群中，其也能夠將可靠性提高到4倍左右，在糾刪碼集群中，效果則更加顯著；（4）設備級可靠性研究，主要研究存儲集群中常用存儲設備的可靠性問題，例如，設計了一種基於混合介質（SLC及MLC flash）與分層數據冗餘（晶片內與晶片間）的SSD結構，能夠以不到10%的成本代價將延長存儲集群中常用的MLC SSD設備壽命提升23%至178%。 通過本研究的開展，取得了一下研究成果:在相關領域的知名國際會議上發表學術論文5篇，其中CCF-B類會議4篇，通過項目培養或協助培養了3名博士研究生與11名碩士研究生，申請及獲批了4項專利。
