基於陣列碼的分散式容災存儲系統

《基於陣列碼的分散式容災存儲系統》是依託電子科技大學,由陳崢擔任醒目負責人的青年科學基金項目。

基本介紹

• 中文名：基於陣列碼的分散式容災存儲系統
• 依託單位：電子科技大學
• 項目類別：青年科學基金項目
• 項目負責人：陳崢

項目摘要

網路上最重要最寶貴的資源是數據和信息,因此網路上承載的數據信息的安全性是網路容災與網路可生存性的首要任務。特別是震驚世人的汶川大地震之後，數據容災研究的緊迫性更加凸顯。本課題將深入研究一種基於陣列碼的大規模分散式數據災難恢復的新技術體系，特別是其中的關鍵技術和原型系統研發，包括核心技術方法、技術體系、關鍵的軟硬體原型系統、災難恢復模擬試驗、發明專利等關鍵點。課題擬解決的技術關鍵將是國際上挑戰性的課題：對於由N台數據伺服器（包括備用伺服器）組成的一個網路分散式容災存儲系統，當其中任意r台數據伺服器的數據遭到損毀時，可以利用其餘N-r台未受損的伺服器數據立刻自動恢復這r台損毀伺服器的全部數據信息，並且要求：網路上每台伺服器存儲的數據信息冗餘度均不超過2r/n 。

結題摘要

陣列碼是分散式容災系統的關鍵技術，本項目創造性的提出了基於GE碼的分散式容災系統體系架構，作為一種糾錯能力接近線性的，GE碼有著幾乎不受限制的擴展能力。以GE碼為基礎，並結合近兩年存儲系統的最新發展趨勢——網盤，本項目團隊實現了OverCloud分散式網盤存儲系統。與傳統的基於磁碟的分散式存儲系統不同，OverCloud以網盤為基礎存儲介質，提供了多網盤的容災存儲功能，一方面針對網盤的特點，提供了安全性、可靠性、隱私性等設計，都具有獨創性；另一方面，網盤的開放性也使得GE碼的線性可擴展性得到了充分的發揮。針對扇區的糾刪碼是陣列編碼的最新研究方向。本項目所提出的plus-one code作為針對扇區的糾刪碼的最新研究成果，得到了廣泛的關注。所謂針對扇區的糾刪碼，是james plank教授在2013年FAST大會上首次提出的，與傳統糾刪碼僅僅糾正整個磁碟的刪除錯不同，針對扇區的糾刪碼還能夠以更低的粒度提供針對扇區的糾刪。Plus-one code以此為目標，抱著儘可能兼容現有糾刪編碼的目的，提出了一類廣泛適用的1扇區糾刪碼。Plus-one code能夠為現有多種糾刪碼增加一個（一片）扇區糾刪能力，為扇區糾刪碼的套用提供了廣泛的空間。分散式存儲系統是一個系統性問題，除了其中最核心的編碼之外，還包含一系列問題，包括數據分發定位、數據壓縮處理、數據傳輸最佳化等，都是分散式存儲系統無法繞開的關鍵問題。本研究分別針對這些分散式存儲系統中的關鍵問題進行了大量的研究，提出了語義感知的智慧型信息定位算法、使用範圍更廣的近似匹配數據壓縮算法、針對大數據的傳輸最佳化算法等技術的市場化探索是本項目的一個重要方面，在過去三年的時間裡，我們與國內最大的存儲企業華為（原華為·賽門鐵克）建立起了深入的合作，共同開展了“基於廣域網的存儲系統最佳化研究”，設計並製作了廣域網存儲系統最佳化研究原型機。在最優情況下，該機比華為公司同期開發的對照原型機在性能上有超過10倍的提升。該技術已經套用於華為的OceanStor ReplicationDirector存儲管理系統中，取得了一定的商業價值和經濟效益。另一方面，我們也積極探索開源化的道路，團隊所設計的OverCloud分散式網盤存儲系統已發布於著名開源社區Github，獲得了一致好評。