混合雲中的數據密集型工作流調度策略研究

《混合雲中的數據密集型工作流調度策略研究》是依託華東師範大學，由劉曉擔任項目負責人的青年科學基金項目。

基本介紹

• 中文名：混合雲中的數據密集型工作流調度策略研究
• 項目類別：青年科學基金項目
• 項目負責人：劉曉
• 依託單位：華東師範大學

項目摘要

隨著大規模科學計算和面向海量用戶的電子商務的發展，基於雲計算的工作流系統需要處理大量數據密集型的套用。高效的工作流調度策略是保證工作流系統性能和用戶滿意度的關鍵。如何提高雲計算環境中的工作流執行效率並降低處理海量數據所需的資源成本成為工作流調度的核心問題。本項目針對混合雲的發展趨勢及其帶來的挑戰，創新性的提出了一個擴展的雲工作流調度策略，其核心是將數據密集型工作流的調度從傳統的僅在工作流執行中擴展到工作流的整個生命周期，即包括工作流執行前的原始數據放置策略（其目標是降低原始數據的傳輸時間和成本），工作流執行中的中間數據和計算任務調度（其目標是靈活調度中間數據和計算任務來最佳化工作流執行的時間和成本），以及工作流執行結束後的中間數據刪除（其目標是降低海量中間數據的存儲成本）。項目研究成果能系統地解決混合雲中數據密集型工作流的調度問題，降低工作流執行的時間和成本，從而有效地提高用戶的滿意度。

結題摘要

工作流系統是提高數據分析和業務過程執行效率的重要手段。隨著大規模科學計算和面向海量用戶的電子商務的發展，基於雲計算的工作流系統需要處理大量數據密集型的套用。其中，高效的工作流調度策略是保證工作流系統性能和用戶滿意度的關鍵，而工作流調度的核心問題就是如何提高雲計算環境中的工作流執行效率並降低處理海量數據所需的資源成本。面對這個關鍵核心問題同時面向混合雲的發展趨勢及其帶來的挑戰，本項目創新性的提出了一個擴展的雲工作流調度策略，其核心就是將數據密集型工作流的調度從傳統的僅在工作流執行中擴展到工作流的整個生命周期。根據工作流執行前，執行中和執行後這三個生命周期階段，我們提出的策略具體包括工作流執行前的原始數據放置（其目標是降低原始數據的傳輸時間和成本），工作流執行中的中間數據和計算任務調度（其目標是靈活調度中間數據和計算任務來最佳化工作流執行的時間和成本），以及工作流執行結束後的中間數據刪除（其目標是降低海量中間數據的存儲成本）。 本項目的研究圍繞著以上三個核心內容，在工作流原始數據放置，中間數據和計算任務調度，以及中間數據刪除方面提出了一系列新模型和新方法，並通過自主搭建的混合雲平台（包含基於OpenStack的私有雲平台以及基於Windows Azure的公有雲平台）進行了充分的驗證，證明了新模型和新方法的有效性。相關研究成果發表在10篇SCI期刊以及17篇EI/ISTP會議上。在學生培養方面，指導畢業碩士研究生3名，其中兩人獲得研究生國家獎學金。 本項目的研究成果較為系統地解決了混合雲中數據密集型工作流的調度問題，有效的降低了工作流執行的時間和成本，從而進一步有效地提高了用戶的滿意度。此外，本項目的成果被有效的集成到了雲工作流原型系統SwinFlow-Cloud中，大幅度提高了該系統的性能，從而為其商業化奠定了更加堅實的基礎。