《集群環境下基於記憶體的高性能數據管理與分析》是依託華東師範大學，由周傲英擔任項目負責人的重點項目。
基本介紹
- 中文名：集群環境下基於記憶體的高性能數據管理與分析
- 項目類別：重點項目
- 項目負責人：周傲英
- 依託單位：華東師範大學
項目摘要,結題摘要,
項目摘要
隨著市場競爭的加劇和企業信息化程度的提高，傳統商務智慧型系統難以滿足當前決策時效性的要求，實時商務智慧型已成為許多企業追求的目標，硬體和體系結構的發展為之提供了技術條件。本項目旨在研究集群環境下基於記憶體的高性能數據管理與分析技術，探索符合套用需求、充分發揮硬體效能的決策類大數據處理技術，為實現實時商務智慧型奠定基礎。重點研究：1）非一致訪問記憶體環境下的數據高效存儲，包括列式密集存儲、記憶體感知布局和壓縮感知處理；2）大規模異構計算資源的充分利用，包括函式至核有向無環工作流式和處理器結合疊代式並行處理，以及會話調度策略和計算優先負載平衡；3）記憶體系統可靠性保障，包括基於世系的記憶體數據集容錯、熱備進程的任務快速恢復等；4）針對特定套用的基本運算元和執行計畫最佳化。本項目的研究符合現實套用需求和技術發展趨勢，具有廣闊的套用前景和學術價值。申請人在數據管理方面積累充分，研究方案可行，能保證本項目順利完成。
結題摘要
隨著市場競爭的加劇和企業信息化程度的提高，傳統商務智慧型系統難以滿足當前決策時效性的要求，實時商務智慧型已成為許多企業追求的目標，硬體和體系結構的發展為之提供了技術條件。本項目旨在研究集群環境下基於記憶體的高性能數據管理與分析技術，探索符合套用需求、充分發揮硬體效能的決策類大數據處理技術，為實現實時商務智慧型奠定基礎。重點研究內容包括：1）非一致訪問記憶體環境下的數據高效存儲，包括列式密集存儲、記憶體感知布局和壓縮感知處理；2）大規模異構計算資源的充分利用，包括函式至核有向無環工作流式和處理器結合疊代式並行處理，以及會話調度策略和計算優先負載平衡；3）記憶體系統可靠性保障，包括基於世系的記憶體數據集容錯、熱備進程的任務快速恢復等；4）針對特定套用的基本運算元和執行計畫最佳化。本項目的研究符合現實套用需求和技術發展趨勢，具有廣闊的套用前景和學術價值。 項目針對研究目標，分別取得了如下創新性結果：1）針對集群記憶體訪問的多級性，提出了融合快取、記憶體、SSD存儲、外存、遠程數據訪問的多級數據存取模型，實現了數據的高效存取。2）利用集群內大規模異構並行計算資源，提出了細粒度的彈性並行查詢處理框架，實現了複雜分析任務子任務自動分配以及高效並行執行與高吞吐量調度。3）針對記憶體數據易失、複雜任務易潰的特點，提出了本地日誌存儲、遠程基於Paxos的日誌同步等容錯策略，提升了系統的可靠性、可用性。4）面向商務智慧型套用的需求，提出了一系列的分析型查詢處理算法與最佳化技術，以及特定的流數據分析和圖數據分析處理算法，實現了即席的互動式分析。 項目資助下，項目組成員發表期刊論文22篇，學術會議論文21篇，出版學術專著1部，申請專利8項，其中已授權2項，申請軟體著作權5項，獲得科研獎勵2項。項目通過開源項目Gingko實現了成果的集成和套用示範，驗證了成果的先進性和實用性。
