大數據高效能存儲與管理方法研究

《大數據高效能存儲與管理方法研究》是依託清華大學，由武永衛擔任項目負責人的重點項目。

基本介紹

• 中文名：大數據高效能存儲與管理方法研究
• 依託單位：清華大學
• 項目負責人：武永衛
• 項目類別：重點項目

項目摘要

隨著數據規模的爆炸式增長和數據模式的高度複雜化，世界已進入網路化的大數據時代。大數據的多樣化與持續快速增長、用戶對大數據處理與存儲的多種類需求等都對大數據的存儲與管理提出了新挑戰。本項目開展大數據高效能存儲與管理方法研究，提出針對大數據套用I/O特徵定製的存儲系統（套用定製存儲系統）的按需構建機制和可自調整運行最佳化方法，支持多個套用定製存儲系統的同時運行機制，實現多層次存儲介質硬體部件的整體利用率和單位時間內大數據處理條目數兩方面的綜合效能提升。項目從大數據高效能存儲與管理體系、支撐技術和套用驗證三個方面，解決套用定製存儲系統的按需定製與動態調整、套用存儲特性靈敏感知與自回饋機制、高並發多種類複雜數據存儲的效能管理、數據動態聚散機制、存算傳融合的存儲調度、多套用定製存儲系統共存的系統效能評測方法等問題，最後通過中國移動社交網路大數據疊代分析和寶鋼過程監控大數據質量控制開展套用驗證。

結題摘要

本項目針對大數據體量大、複雜度高、變化快等特性所帶來的存儲挑戰，結合記憶體、相變存儲、固態硬碟、磁碟等不同類型存儲介質的性能及能耗特徵，探索並利用大數據的關聯性、異質性、異構性等特徵對存儲效能的影響模式，圍繞大數據高效能存儲與管理體系、支撐技術和上層套用三個層次開展大數據高效能存儲與管理方法的研究。項目組在套用定製存儲系統的按需定製與動態調整、套用存儲特性靈敏感知與自回饋機制、高並發多種類複雜數據存儲的效能管理、數據動態聚散機制、存算傳融合的存儲調度、多套用定製存儲系統共存的系統效能評測方法等方面開展了研究，並通過衛星遙感大數據流式數據管理和分析、海洋環境監測大數據統計分析等進行了套用驗證。截止到2019年底，項目組已在項目計畫中全部八個研究方向，共23個研究點展開了研究工作，解決了數十個研究難點，取得了多項研究成果。項目主要成果包括在TOC、TPDS等期刊和OSDI、SOSP、ATC、VLDB等會議上發表論文104篇，其中CCF A類論文40篇，SCI檢索論文33篇，申請/授權30項發明專利和1項軟體著作權，發表專著3項，開源系統8項。項目組通過積極參與相關領域主流國際會議、邀請國外專家訪問等方式，與同行進行了深入的學術交流合作。組織國際學術會議CCGrid一次，組織國際性的大數據存儲與管理研討會4次。本項目共培養了31名研究生，其中20名博士生，11名碩士生。目前23人已畢業，8人在讀。項目組成員1人入選國家“萬人計畫”科技創新領軍人才計畫，獲得國家級獎勵1項，省部級獎勵4項（含特等獎1項），最佳論文獎4項，瀋陽市自然科學學術成果一等獎1項，興遼英才計畫青年拔尖人才1項。項目組與中國移動、寶鋼、國家海洋局等企業展開合作，就各種大數據存儲與管理型套用開展聯合研究，項目成果具有重要套用價值，具體包括：衛星遙感大數據流式管理和分析型套用、海洋環境監控大數據線上查詢統計分析型套用、中國移動社交網路大數據疊代分析型套用、寶鋼過程監控大數據質量控制型套用。