《容錯存儲系統的擴容問題研究》是依託中國科學技術大學，由許胤龍擔任項目負責人的面上項目。
基本介紹
- 中文名：容錯存儲系統的擴容問題研究
- 項目類別：面上項目
- 項目負責人：許胤龍
- 依託單位：中國科學技術大學
中文摘要,結題摘要,
中文摘要
磁碟故障是大型存儲系統中常見現象，容錯已成為當前存儲系統必備的基本功能。另一方面，數據量的高速增長以及用戶對系統性能不斷增長的需求導致存儲系統需要擴容。本項目擬研究基於不同容錯編碼的存儲系統的有效擴容算法與相應數據遷移算法，最佳化系統擴容過程中系統負載均衡、遷移數據量、I\O負載、校驗塊的更新、元數據的管理、數據一致性以及數據存儲連續性等多方面的性能，具體的研究內容包括：（1）針對各種RAID編碼、糾刪碼、再生碼，設計系統擴容算法；（2）針對以上各種編碼，設計增加容錯能力的擴容算法；（3）針對不同存儲介質的存儲系統，如固態硬碟、傳統硬碟，建立擴容過程中性能參數模型，設計最佳化的擴容算法；（4）針對一些不同的系統訪問模式，通過其trace數據分析影響擴容算法性能的關鍵因素，設計最佳化的線上擴容算法；（5）建立一個實際的異構分散式存儲系統，在此系統上實現各種擴容算法，最佳化擴容算法在實際系統中的部署。
結題摘要
本項目的實施過程中，共錄用與發表論文33篇，其中CCF推薦的A類會議/期刊論文14篇、B類會議/期刊論文8篇，申請專利7項（已經授權2項）。培養畢業博士生4名、碩士生6名。共資助研究參加國際學術會議21人次，在2017年全國高性能計算學術年會上許胤龍教授做“高性能計算中的存儲牆”的大會特邀報告；在2015年中國計算機大會上，許胤龍教授與清華大學舒繼武教授作為共同主席，組織了“新型存儲系統與系統構建”論壇，並做了“基於糾刪碼的容錯存儲系統”主題報告。本項目資助的主要成果有： (1) Cauchy Reed-Solomon（CRS）編碼是一種非常常用的容錯編碼。針對基於CRS編碼的存儲系統，首次提出了擴容前編碼矩陣與擴容後編碼矩陣同時綜合設計的思想，並給出了相應的編碼矩陣設計算法和數據遷移算法，能夠保證擴容前後的編解碼算法非常高效，而且保證擴容後的系統中數據塊\校驗塊分布均衡、擴容過程中遷移數據量最少且校驗塊更新最少。 (2) 大規模存儲系統中，常採用校驗散布的糾刪碼來加速故障數據的恢復。針對基於校驗散布糾刪碼的存儲系統，我們首次設計了擴容算法。該算法可以同時兼顧存儲容量的擴容與系統可靠性的增加，且能夠達到擴容後的系統中數據塊與校驗塊分布均衡、擴容過程中遷移的數據量達到最少且不需要更新校驗塊。 (3) 針對大規模存儲系統，我們首次設計實現了一種分組編碼OI-RAID。OI-RAID將所有節點分成一些組，組內節點之間與組間節點之間分別設計了編碼算法。這樣通過組內編碼與組間編碼可以達到更高的容錯能力，而且可以根據實際需求，設計相應的編碼，大大加速故障數據的恢復速度。 (4) 針對基於固態盤的RAID存儲系統，設計了一個輕量級的冷熱數據識別算法，該算法用很小的代價，能夠達到90%以上的冷熱數據識別率。進一步將該冷熱數據識別算法套用於基於固態盤的陣列系統，在系統中分區域分別放置冷熱數據，大大減少了陣列系統垃圾回收的開銷和校驗塊更新導致的額外I/O操作，同時使得平均I/O回響時間減少到80%左右。
