面向廣域雲服務的計算、數據和網路的協同調度研究

《面向廣域雲服務的計算、數據和網路的協同調度研究》是依託天津大學，由趙來平擔任項目負責人的青年科學基金項目。

基本介紹

• 中文名：面向廣域雲服務的計算、數據和網路的協同調度研究
• 項目類別：青年科學基金項目
• 項目負責人：趙來平
• 依託單位：天津大學

項目摘要

雲計算的發展正呈現出兩個特徵：數據中心建設和大量數據及副本存儲的泛地域化。面向廣域雲的數據密集型任務處理受數據中心的計算存儲能力、地理位置、數據及副本的存儲位置和廣域網頻寬的影響變得更加複雜困難。針對該問題，為提高數據密集型任務的處理效率，本項目擬開展廣域雲環境下的資源調度研究。綜合考慮虛擬機實例選擇與安置、數據副本選擇與安置和網路路由控制技術，提出以“計算、數據和網路的協同調度”為核心，解決跨數據中心的數據密集型任務的時間效率最佳化和收益效率最佳化兩個基本問題。具體的，本項目研究將針對離線調度、線上調度以及分散式調度情境設計協同調度算法，並對算法作理論分析和仿真實驗評估。研究成果將套用部署到廣域天文數據分析中，有望提高天文數據分析的運行效率，為廣域雲計算產業的發展提供理論和實踐支持。

結題摘要

雲計算的快速發展推動了各種類型的雲服務不斷湧現。為滿足持續增長的用戶需求，並提高雲服務在廣域範圍內的利用效率，支撐雲服務的超大規模數據中心的建設逐步走向泛地域化。與此同時，數據的規模也持續增加，數據的發布、存儲和數據密集型套用均呈現出廣域分布的特點。如何協同利用廣域雲環境下的多個數據中心，高效地分析處理同為廣域分布的大量數據成為雲計算面臨的新挑戰。本課題將設計面向廣域雲環境的計算、數據和網路的協同調度算法，綜合考慮各數據中心彈性計算能力、數據及其副本選擇和網路路由選擇因素，提高任務執行的時間效率和成本效率。課題研究成果擬結合天文數據分析的套用背景，通過實際系統驗證其有效性。 課題開展過程中，對廣域環境下的任務調度問題作了完整的數學建模，並針對不同套用場景設計實現了多個調度算法以提高廣域雲環境下任務執行的效率。首先，為提高任務運行的時間效率，本課題設計提出了三個算法：基於超圖分割的HPS算法適用於任務負載較高（資源需求量超過數據中心的可用資源量）的情況；基於數據本地性最優的貪婪算法適合任務負載較低（資源需求量遠小於數據中心可用資源量）的情況；基於社區發現的CDS算法在其他場景下（資源請求量與資源可用量相差較小）的表現優於以上兩個算法。課題在以上工作的基礎上，進一步最佳化設計了改進的基於超圖分割的HPS+算法，實驗結果表明HPS+算法的調度結果相比以上算法，可降低數據的廣域傳輸量達45%以上，縮短最終完成時間33%以上。其次，為提高廣域計算任務的成本效率，本課題設計了基於擴展拉格朗日乘子法的ALMM調度算法。該算法可以給出多數據中心下任務調度的最低成本調度解。然後由於其求解過程較慢（150個任務和5個數據中心問題規模下的求解時間超過10分鐘），因此，本課題同時設計了求解速度更快的DVDS算法。相比ALMM算法，DVDS算法在增加計算成本不超過10%的前提下，遠遠提高了求解的時間效率。