重複數據刪除存儲系統的數據重構性能和能效研究

《重複數據刪除存儲系統的數據重構性能和能效研究》是依託廈門大學，由吳素貞擔任項目負責人的青年科學基金項目。

基本介紹

• 中文名：重複數據刪除存儲系統的數據重構性能和能效研究
• 項目類別：青年科學基金項目
• 項目負責人：吳素貞
• 依託單位：廈門大學

項目摘要

重複數據刪除技術雖然能夠有效地減少存儲容量和提高網路頻寬利用率，但是降低了數據重構的性能和能效。這是因為一個檔案或數據塊經過重複數據刪除後，可能分散存放在不同的磁碟上，導致數據讀取操作需要多個磁碟進行尋道操作。當重複數據刪除技術逐漸套用於虛擬機和郵件伺服器以及雲存儲等一級存儲系統時，數據重構的性能和能效問題變得更為重要。本項目從存儲系統全局出發，在基於磁碟的重複數據刪除存儲系統中引入固態盤，並根據存儲設備的性能和能效特徵以及數據塊的屬性布局數據，以提高數據重構性能和能效。本項目擬：（1）研究採用重複數據刪除技術後數據塊在存儲設備上的布局特點；（2）研究重複數據刪除技術對數據重構性能和能效的影響情況；（3）研究提高數據重構性能和能效的數據布局策略。本項目的研究可以解決重複數據刪除技術對現有存儲系統中數據重構性能和能效的影響問題，進一步推動重複數據刪除技術的更廣泛套用。

結題摘要

重複數據刪除技術可以有效地消除冗餘數據，提高存儲效率和減少備份時間，但同時也降低了數據重構的性能和能效。為了解決這個問題，本項目主要研究了如下內容：（1）提出了基於固態盤的SAR技術。根據重複數據刪除後數據塊的屬性和不同存儲設備的性能和能耗特徵，動態地、有選擇地將重複數據刪除後的部分數據塊保存在高速、低能耗的固態盤上，以加快數據的讀取操作並降低系統能耗。通過負載回放實驗測試，結果表明SAR技術可以減少用戶平均回響時間5.8倍，降低系統能耗83.4%；（2）提出了以性能為導向的重複數據刪除POD算法。POD系統主要包括兩項技術：選擇性重複數據刪除技術（Select-Dedupe）和智慧型快取管理策略iCache。Select-Dedupe技術不僅關注大請求的寫數據，也對小請求的寫數據進行重複數據刪除處理。智慧型快取管理策略iCache根據用戶讀寫請求的爆發特性，動態地調節讀快取和Index快取的大小，以最大化快取的利用效率。性能評估結果表明POD可以有效地提高一級存儲系統的性能並保證容量節省效率，性能平均提升達到58.8%；（3）研究了混合磁碟陣列HPDA技術和大規模存儲系統中的前攝性數據恢復技術IDO算法等，進一步提高重複數據刪除存儲系統的性能和可用性。 通過以上關鍵技術的研究，本項目的研究有效地提高了重複數據刪除存儲系統的數據重構性能和能效，相關研究成果發表在CCF推薦的B類及以上學術會議和期刊中，其中包括《IEEE Transactions on Computers》、《ACM Transactions on Storage》、IPDPS、LISA等，也被國內外學者引用，其中包括EMC等存儲公司，進一步推動了重複數據刪除技術在存儲系統中的更廣泛套用。