《大規模數據存儲系統能耗最佳化方法的研究》是依託華中科技大學，由謝長生擔任項目負責人的重點項目。
基本介紹
- 中文名：大規模數據存儲系統能耗最佳化方法的研究
- 項目類別：重點項目
- 項目負責人：謝長生
- 依託單位：華中科技大學
項目摘要,結題摘要,
項目摘要
數據存儲系統的規模不斷擴大導致系統能耗以及相關運行維護費用大幅提高，如何在確保套用獲得連續快捷的數據服務的同時，降低系統運行能耗，成為大規模數據存儲亟需解決的問題。本項目從存儲系統全局出發，在保持系統整體服務質量的前提下，提出存儲系統的能耗最佳化方法，根據節點級負載的特性以及在時間、空間上分布的要求，定義負載模型，解決資源最小集合的問題，確定能耗最佳化的下界；在部件、節點和系統三個層面建立電力消耗的測量反饋以及相關的調節策略，解決複雜系統自適應動態調度問題；根據節能機制在系統的不同層次的作用範圍、效果和成本之間的差異，從整體能耗最佳化入手，提出多級、多約束最佳化能耗融合的方法；對於大規模存儲系統的測量涉及到的多採樣點和測試對象，如溫度、負載、電流等，提出多點時空域採樣機制，採用霍爾效應，將溫度、負載、性能、可靠性和功耗測量納入到一個體系之中。
結題摘要
項目圍繞大規模存儲系統能耗最佳化這一主旨，按計畫研究存儲設備、數據布局和存取過程的綜合能效協同提升原理及最佳化技術，並已達成了預期研究目標。具體研究成果包括：（1）提出一系列高效能數據布局，在不降低性能與可靠性等服務質量的前提下，採用更少的存儲空間，提高了存儲利用率；（2）提出了多種改善機制，在保障不犧牲系統性能的同時，節省了系統整體功耗；（3）採用新型存儲器件或新型存儲原理來提高存儲系統能效性；（4）針對典型存儲套用及特定I/O負載，設計相應的能效最佳化方法。具體如下： 1．數據布局在提高存儲能效方面具有基礎性作用。提出一系列高效布局，包括：基於分組的短鏈Code-M編碼；提升跨行寫並行性的H-Code編碼；橫向校驗塊均勻分布的HDP編碼；副本節能的PERAID布局；旋轉日誌架構和相應分散式同步的RoLo；日誌技術最佳化寫的RAID6L；線上可用性升級的附屬校驗加入方法SPA；提高重構性能的V2-Code編碼；數據分布方案S2-RAID。 2. 為了保證節能最佳化的同時不犧牲系統性能，提出多種改善性能的機制，包括：最佳化後台重構和前台I/O性能的VDF算法；基於多級Cache算法中數據隱示的Hint-K算法；一種具有最小遷移數據量的基於校驗塊遷移方法PBM；面向異構糾刪碼存儲集群的感知服務質量的讀最佳化策略ROS；糾刪碼集群存儲節能機制ECS2等。 3. 利用新型存儲器件是提高存儲系統能效的基本思路，提出分離元數據和數據的SSD和PCM混合架構；設計混合瓦記錄磁碟系統HWSR；研究NAND快閃記憶體的壽命模型和寫放大特性；開發基於PCI-E接口高效能全固態存儲卡。 4. 最後設計面向典型存儲套用的能效最佳化方法。針對重複數據刪除提出相似性SiLo方法；針對海量元數據提出分散式語義感知的元數據組織系統SmartStore；設計溯源信息的圖結構及其壓縮機制中實現數據的長期高效存儲。 本項目實施過程中，在IEEE TC、IEEE TPDS和ACM TOS等國際期刊和本領域重要的國際會議（ATC，DSN，ICS，ICDCS，IPDPS，MSST，Cluster等）上發表論文70篇，其中SCI期刊發表論文10篇，EI論文58篇。培養畢業研究生40名，申請/授權國家發明專利21項。項目組通過積極參與相關領域主流國際會議、邀請國外專家訪問等方式，與國外同行進行了深入的學術交流與合作。
