《面向大規模分散式存儲系統中冗餘編碼的性能最佳化研究》是依託復旦大學，由王新擔任項目負責人的面上項目。
基本介紹
- 中文名：面向大規模分散式存儲系統中冗餘編碼的性能最佳化研究
- 依託單位：復旦大學
- 項目類別：面上項目
- 項目負責人：王新
項目摘要,結題摘要,
項目摘要
大規模分散式存儲系統，通過網路將大量低成本存儲節點連線起來，提供可靠的數據訪問服務，是網際網路套用、數據中心服務的重要支撐技術。在實際系統中，針對因存儲節點失效造成的數據不可訪問甚至數據永久丟失，數據冗餘修復技術發揮著重要作用。大規模分散式存儲系統，一般具有節點計算、存儲、頻寬等異構性，因（使用的）節點不同會造成編碼開銷、修復開銷的顯著差異；因原始數據更新，每一個存儲節點上的數據也需要相應更新，與副本方式相比，編碼方式時數據更新更複雜、更具挑戰性。本課題將對上述因大規模和冗餘編碼帶來的性能問題開展研究，針對大規模分散式存儲系統中的節點選擇機制，研究並提出異構環境下的存儲節點選擇策略、供應節點選擇策略、新生節點選擇策略及聯合選擇策略；在此基礎上研究並提出數據再生編碼方案和修複方案；針對因數據更新造成的編碼數據更新，研究適合編碼操作的數據更新策略，最佳化編碼數據更新中的網路頻寬和磁碟I/O開銷。
結題摘要
大規模分散式存儲系統，通過網路將大量低成本存儲節點連線起來，提供可靠的數據訪問服務，是網際網路套用、數據中心服務的重要支撐技術。在實際系統中，針對因存儲節點失效造成的數據不可訪問甚至數據永久丟失，數據冗餘修復技術發揮著重要作用。大規模分散式存儲系統，一般具有節點計算、存儲、頻寬等異構性，因（使用的）節點不同會造成編碼開銷、修復開銷的顯著差異；因原始數據更新，每一個存儲節點上的數據也需要相應更新，與副本方式相比，編碼方式數據更新更複雜、更具挑戰性。本課題將對上述因大規模和冗餘編碼帶來的性能問題開展研究，針對大規模分散式存儲系統中的節點選擇機制，研究並提出異構環境下的存儲節點選擇策略、供應節點選擇策略、新生節點選擇策略及聯合選擇策略；在此基礎上研究並提出數據再生編碼方案和修複方案；針對因數據更新造成的編碼數據更新，研究適合編碼操作的數據更新策略，最佳化編碼數據更新中的網路頻寬和磁碟I/O開銷。在測試和分析現有編碼方案和測試分散式存儲系統的性能基礎上，本項目確定了數據讀寫、更新和修復操作成為當前編碼分散式存儲系統性能瓶頸的原因。通過理論分析編解碼過程，本項目研究了編碼情況下不同操作性能編碼上界。本項目引入異構網路/節點協作傳輸、流水線資源調度及編碼計算序列調度等性能方案，並提出了性能最佳化方案提升分散式存儲系統數據讀寫、更新和修復操作的性能。
