雲計算平台上多類型任務的自適應調度技術研究

《雲計算平台上多類型任務的自適應調度技術研究》是依託太原理工大學，由強彥擔任項目負責人的專項基金項目。

基本介紹

• 中文名：雲計算平台上多類型任務的自適應調度技術研究
• 項目類別：專項基金項目
• 項目負責人：強彥
• 依託單位：太原理工大學

項目摘要

雲計算環境有動態性、異構性和海量多類型任務並發性等典型特徵，而其任務調度的複雜度控制和調度方法的自適應性問題，是解決雲計算環境任務調度的關鍵問題。本項目針對雲計算環境中任務調度多目標（如成本、效率、客戶QoS和完成時間等因素）約束的問題，借鑑QoS多目標約束調度理論，融合組合最佳化和機器學習的各自優勢，提出適應於雲計算環境下的，全局尋優能力和尋找效率組合優勢較高的調度體系，有效解決多目標約束的任務調度複雜性控制問題。其次，針對任務類型和調度算法不能準確映射的問題，項目中提出Hadoop平台下的自適應調度框架和結構機制模型。該模型可以根據任務類型自適應切換不同的調度算法，有效提高雲計算平台的多類型任務調度效率和調度準確率，實現調度的自適應性。項目為雲計算的QoS約束下的調度理論和Hadoop平台下的自適應調度機理提供技術支撐，對雲計算環境下的任務調度具有一定的理論意義和學術價值。

結題摘要

摘要：在動態異構海量任務的雲環境中，對資源任務合理調度算法的研究是當前國內外研究的重點。本項目借鑑QoS多目標約束調度的理論，並融合組合最佳化和機器學習的優勢，對保證用戶滿意度的前提下的資源調度和任務分配的各類算法做了深入研究。我們研究了Hadoop平台下任務資源的調度機制，現有調度算法的參數配置方式，提出了一種自適應資源的監測模型，通過對資源的動態監測，根據當前的資源分配情況選擇合適的分配方案，獲得了一系列的成果；利用監測模型的成果，提出了利用決策樹C4.5算法作業分類方法，通過對作業的“切分”，得到大規模作業的簡單集；提出結合模糊商空間聚類和改進遺傳算法的資源任務分配模型，根據資源本身性能聚類，在聚類中基於改進遺傳算法進行分配，極大提高了用戶時間和資源滿意度；針對MapReduce框架下計算型調度器在處理存儲型作業耗時長的問題，提出了基於模擬退火算法的queue級別調度策略，實現了更少的作業完成時間以及更高的資源利用率；通過該項目的研究提高了雲計算效率、降低了雲平台硬體資源投入總成本，對山西省科學技術和產業發展起到了積極的推動作用。