《雲數據中心並行計算模型與作業調度研究》是依託西安交通大學，由曹海軍擔任項目負責人的青年科學基金項目。
基本介紹
- 中文名：雲數據中心並行計算模型與作業調度研究
- 項目類別：青年科學基金項目
- 項目負責人：曹海軍
- 依託單位：西安交通大學
中文摘要,結題摘要,
中文摘要
雲計算平台的作業執行子系統主要負責計算模型、資源分配與作業調度。目前，雲計算環境下的作業執行正面臨著新的機遇與挑戰，例如，單集群節點通常採用了多處理器混合架構；多個計算模型(MapReduce、DAG、Stream)和多種作業類型(系統作業、用戶互動式作業、實時作業等)並存。因此，如何根據計算模型，調度不同類型作業到異構複雜的集群計算資源上執行成為雲計算系統平台面臨的關鍵科學問題。為了提高作業調度與執行效率，本項目將綜合分析計算資源、計算模型、作業三者特點，從以下三個層面開展研究：(1)面向多處理器集群系統的作業調度；(2)面向異構集群計算資源的作業調度研究；(3)面向流數據處理的計算模型與作業執行最佳化。本項目的研究成果將可以直接套用於真實的雲計算系統平台，支持多個計算模型和作業類型，能夠提高作業執行子系統的吞吐率、資源利用率、公平性，減少單個作業完成時間。
結題摘要
雲計算平台的作業執行子系統主要負責計算模型、資源分配與作業調度。如何根據計算模型,調度不同類型作業到異構複雜的集群計算資源上執行成為雲計算系統平台面臨的關鍵科學問題。本課題以最大效能提高作業調度與執行效率為目標,針對由多處理器節點構成的集群系統,研究了面向多處理器集群系統的細粒度作業調度和數據塊的平衡放置。針對異構數據中心中節點系統結構的差別和性能差異將導致子任務處理速度的不同,研究了多種作業調度算法,包括負載均衡、延遲調度等。針對流數據處理模型支持數據以“流”式源源不斷地到達,要求具有一定的實時性的特性,研究了小檔案以及短作業在異構機群上的調度策略和算法。本項目經過三年的研究，按照要求完成了每年的研究計畫，如期完成任務。按照評審意見以及技術發展現狀少許調整了研究內容，在本課題的研究基礎上，針對虛擬化技術在高性能伺服器的廣泛使用,增加了對虛擬機中影響作業系統的驅動故障的研究,通過在虛擬機中隔離驅動故障提高虛擬機的可靠性。已發表科研論文16篇，其中2篇SCI，10篇EI，參與國際會議交流7次，申請國家發明專利2項。本課題共支持了4名博士生和6名碩士生，其中2名博士生和4名碩士生已獲得學位。課題順利完成了研究任務並取得了預期的研究成果。
