《異構並行環境下的MapReduce資源調度模型與方法研究》是依託湖南大學，由李克勤擔任項目負責人的面上項目。
基本介紹
- 中文名：異構並行環境下的MapReduce資源調度模型與方法研究
- 項目類別：面上項目
- 項目負責人：李克勤
- 依託單位：湖南大學
中文摘要,結題摘要,
中文摘要
如何構建面向CPU/GPU異構環境的Map-Reduce系統將有助於解決超級計算在大數據處理方面的實際套用難題。本課題首先通過分析異構機群系統的特點，提出其面向Map-Reduce的結構劃分策略，並由此提出 Map-Reduce在大數據處理中的隨機任務圖模型，以描述隨機任務間的基本關係。其次提出了基於隨機機率分布的任務量動態預測算法，並在此基礎上實現了基於計算任務類型的動態資源調度模型。最後通過在CPU/GPU節點上建立面向大數據處理的執行緒級負載均衡及節點容錯模型，推進了Map-Reduce資源調度模型在異構機群上的實現。本課題將基於國家超算長沙中心的天河1號異構超級計算機系統對本項目的理論和原型進行全面的性能評估與測試。本項目中的所建立的異構環境下的Map-Reduce資源調度模型將是雲服務在超算平台上部署和套用的突破，是提升大數據處理並行計算性能的關鍵，具有重要的理論與實際價值。
結題摘要
立足於高性能異構並行計算的研究前沿，充分利用並行計算、並行調度、異構計算、雲計算等現有理論和技術成果，側重於新理論、新技術和新方法的研究，採用理論和實驗相結合的方式，針對雲計算環境中資源分配及數據存取過程，完成了面向雲平台的虛擬機部署、任務調度及訪問控制模型的建立等基礎性研究工作；研究了基於新型雲計算平台SPARK的調度機制和相關算法以及基於雲計算的資源分配最佳化算法及大數據處理技術。發表學術論文14篇，其中IEEE/ACM Transactions論文8篇，被SCI收錄13篇，申請國家發明專利5項。
