《雲計算環境下面向科學工作流套用的彈性調度機制研究》是依託東南大學，由東方擔任項目負責人的青年科學基金項目。
基本介紹
- 中文名：雲計算環境下面向科學工作流套用的彈性調度機制研究
- 項目類別：青年科學基金項目
- 項目負責人：東方
- 依託單位：東南大學
中文摘要,結題摘要,
中文摘要
當前工作流模式已廣泛存在於不同領域的科學計算當中，其具有套用規模大、邏輯關係複雜等特點。近年來，為滿足日益增長的科學計算需求，利用雲環境實現科學工作流套用的高效運行逐漸得到關注。但現有工作並未考慮雲計算特點，忽略了由虛擬機間競爭資源而導致的性能波動，且極少針對系統能耗進行最佳化。針對以上問題，本項目擬從分析雲計算的優勢與特點以及複雜工作流的調度模式入手，在確保套用執行性能的前提下以儘量最佳化系統能耗為目標，研究面向科學工作流套用的彈性調度機制。通過建立雲計算環境下的任務性能與資源能耗模型，實現對虛擬機性能波動及系統能耗的感知；通過結合複雜工作流套用的執行特點，提出以性能約束與能耗最佳化為目標的彈性調度算法及任務動態遷移策略，有效保證套用的執行性能並儘量降低系統的整體能耗。本項目的研究工作將為雲環境中複雜科學工作流套用高效率、低能耗地調度與執行提供切實有效的解決方案，具有重要的理論意義和套用價值。
結題摘要
目前工作流套用模式廣泛存在於不同領域的科學計算套用當中。近年來研究人員逐漸關注利用雲計算技術實現工作流套用的高效執行。然而，通過分析雲計算環境及工作流調度的特點發現，由於存在資源分配模式的靈活性、虛擬機性能的動態性及不確定性、套用執行模式的特殊性，實現雲環境下科學計算工作流套用的高效率、低能耗的調度與執行面臨著巨大挑戰。 基於此，本項目旨在借鑑國內外在該領域的已有成果，著重研究雲計算環境下面向科學工作流套用的彈性調度機制，從而在保證複雜科學工作流套用高效調度與執行的同時儘量降低系統能耗。主要研究內容包括：（1）雲計算環境中的任務性能與資源能耗模型；（2）雲計算環境下以性能約束與能耗最佳化為目標的工作流彈性調度；（3）雲計算環境下面向套用性能保證及能耗最佳化的任務自適應遷移。 項目組從以上三方面展開相應研究，並取得了相關研究成果：（1）在雲計算環境中的任務性能與資源能耗建模方面，在大量精確測量的基礎上，利用排隊論等相關技術，針對虛擬機批量啟動及虛擬化環境中資源衝突等問題進行性能建模，同時利用隨機過程理論對多層次數據中心的能耗進行建模，為後續的任務調度提供精確依據。 （2）在雲計算環境下以性能約束與能耗最佳化為目標的工作流彈性調度方面，分別提出了針對雲環境下性能波動感知的工作流套用隨機調度機制，針對多分散式數據中心環境下的數據密集型科學工作流套用的調度機制，針對非專注多數據中心環境下的科學工作流套用的調度機制，實現了雲環境下科學工作流套用有效地初始調度。 （3）在雲計算環境下面向套用性能保證及能耗最佳化的任務自適應遷移方面，提出了基於提前預留技術的非專注異構雲數據中心中科學工作流任務的重調度機制，雲環境下具有截止期約束的科學工作流任務線上調度機制以及異構雲環境下面向能耗最佳化的任務線上調度機制，確保工作流套用的執行性能並進一步降低了系統能耗。此外，在這些研究成果的基礎上，設計並實現了一個基於雲計算環境的科學工作流調度與管理原型系統，並部署於東南大學雲計算中心，為AMS實驗中海量科學數據的處理提供有效支撐。 以上研究成果的提出對雲計算環境中複雜科學計算工作流套用高效率、低能耗地調度與執行提供了切實有效的解決方案，為以AMS實驗為代表的複雜科學計算套用及海量數據處理套用提供一套實用的雲計算科學工作流執行與管理平台，並對本領域的技術發展做出有效的貢獻。
