《連續數據存儲系統節能關鍵技術研究》是依託北京理工大學，由譚毓安擔任項目負責人的面上項目。
基本介紹
- 中文名：連續數據存儲系統節能關鍵技術研究
- 依託單位：北京理工大學
- 項目負責人：譚毓安
- 項目類別：面上項目
項目摘要,結題摘要,
項目摘要
視頻監控、持續數據保護、備份、歸檔等套用產生海量數據，需要冗餘磁碟陣列(RAID)作為存儲系統來實現數據的存儲和容錯保護。這類系統的負載以連續數據訪問為主，對隨機I/O性能要求較低，通過調節其數據分布，將部分磁碟調度到待機狀態，能夠降低存儲系統的能耗。本項目針對連續數據存儲系統進行節能研究，提出一種動態映射數據布局方式及負載自適應的節能調度算法，將I/O負載集中在部分磁碟上，將其它磁碟調度到待機狀態，降低磁碟的能耗；研究適於連續數據訪問的數據預取算法、磁碟調度算法、快取管理算法和RAID-6陣列碼，最佳化小寫數據寫入性能，減少磁頭移動次數，發揮磁碟連續讀寫吞吐率高的特點，使得較少數量的磁碟處於運行狀態即能滿足負載要求。本項目在滿足對存儲系統的性能及數據可靠性要求的同時，能顯著降低連續數據存儲系統的能耗，促進國家節能減排戰略目標的實施。
結題摘要
視頻監控、備份、歸檔等套用產生海量數據，需要冗餘磁碟陣列作為存儲系統來實現數據存儲和容錯保護。在指數增長的全球大數據中，約有65%是監控視頻，這導致存儲能耗急劇增加，需要對該類存儲系統進行節能研究。 本項目面向視頻監控、備份、歸檔等套用，研究了以局部並行數據布局為核心的節能存儲技術，主要內容如下： ① 獲得了上述存儲套用的存儲特性和負載特徵，為該類存儲系統的節能研究提供了重要依據； ② 提出一種高效能盤陣——Ripple-RAID，改進了局部並行數據布局，通過運用異地更新、基於流水技術漸進生成校驗、分段數據恢復等方法，既保持了局部並行的節能性，又解決了局部並行帶來的小寫問題，顯著提高了節能效率； ③ 提出一種動態局部並行數據布局DPPDL，根據波動負載的寫性能需求，動態配置具有合適並行度的存儲空間，在繼承局部並行節能性的同時，增強了適應波動負載的能力，具有更高的節能效率； ④ 針對上述存儲套用中的少量隨機讀寫操作，提出一種基於雙重校驗的局部並行數據布局——EPS-RAID，通過雙重校驗機制和輔助SSD的方式，最佳化了待機磁碟上的隨機I/O請求，有效降低了存儲能耗； ⑤ 針對備份、歸檔套用特殊的存儲特性，提出一種基於NILFS2檔案系統的改進型S-RAID——LS-RAID，最佳化了局部並行的寫性能，提高了存儲系統的節能效率； ⑥ 提出一種面向局部並行數據布局的磁碟節能調度算法，通過對I/O請求進行聚類分析，獲得I/O請求在地址空間內的分布區及分布區的動態特性，並結合局部並行數據布局對磁碟進行節能調度； 本項目提出相關節能存儲方法，在滿足存儲性能及數據可靠性要求的條件下，能夠顯著降低存儲能耗。在包含60至300路高清攝像機的仿真視頻監控實驗中，DPPDL分別比典型存儲節能方法Hibernator、MAID、eRAID5和PARAID節能31％、36％、56％和59％。 本項目提出相關節能存儲方法，極大豐富了存儲技術的理論與方法，有力推動了存儲系統節能研究的向前發展；為利用太陽能、風能等中小功率的清潔能源，實現真正的綠色數據存儲奠定了基礎。
