面向多用戶共享雲計算平台的大數據處理公平性研究

《面向多用戶共享雲計算平台的大數據處理公平性研究》是依託天津大學，由湯善江擔任項目負責人的青年科學基金項目。

基本介紹

• 中文名：面向多用戶共享雲計算平台的大數據處理公平性研究
• 項目類別：青年科學基金項目
• 項目負責人：湯善江
• 依託單位：天津大學

項目摘要

雲計算作為一種新的計算模式，已成為大數據計算的首選平台。雲服務商通過按時收費服務方式讓用戶通過租賃雲計算資源進行大數據處理。在雲計算中保持一個高的資源利用率對於提高程式性能和資金使用性價比意義非常重大。然而，由於用戶對資源的需求往往是隨時間而不斷變化的，一直保持一個較高的資源利用率對於單個用戶而言是一件非常困難的事情。多用戶資源共享是一個非常經典有效的提高資源利用率的方法。滿足公平性資源分配是資源共享的前提和保證。本課題從經濟學角度研究分析發現，傳統的高性能計算、並行計算和格線計算中已有的公平性資源分配算法和策略在共享雲計算平台中存在幾個嚴重問題（包括：自私用戶提交無用任務問題，狡詐用戶受益問題和付出與回報不成比例問題）使得其並不適用於共享雲計算環境。據此，本課題通過研究雲計算的一些基本特徵，提出一套面向共享雲計算平台新的單類型和多類型資源公平性分配算法，並將其以外掛程式方式實現於Yarn中。

結題摘要

在當今大數據和人工智慧時代，雲計算平台已經成為數據處理和分析的首選計算平台。其資源的利用率對於雲用戶和雲提供商而言至關重要。由於用戶計算任務量隨時間不斷往往是不斷變化的，雲平台的資源利用率通常很低。資源共享是有效提升多用戶資源利用率的一種手段。然而，在共享計算環境下，保證多用戶的資源分配公平性是共享機制持續的前提。因此，本課題以雲計算為研究對象，考慮在多用戶共享環境下如何提升資源利用率並保證用戶的公平性。 本項目對於共享雲平台環境下多用戶的公平性，提出了一個長周期多資源公平性分配策略，充分考慮了雲計算的Pay-as-you-use特徵，使得多用戶在資源分配過程中滿足幾大重要的經濟學屬性（包括共享激勵性、帕雷托效率和資源分配與貢獻成正比屬性）。基於YARN設計和開發了一個原型MRYARN，實現了所提出的長周期多資源公平性分配策略。另一方面，考慮到公平性和系統性能之間存在一個平衡，繼而提出了一個基於Knob的公平性與系統性能的平衡調度策略QKnober，允許用戶通過調節Knob的值，實現動態的公平性和系統性能彼此的平衡性。此外，本項目還開發了一個元調度器FLEX，其基於已有的調度算法，在不修改已有的資源分配系統前提下實現資源利用率和公平性的平衡。 此外，本項目圍繞雲計算環境還針對一些具體套用算法進行了調度最佳化，包括動態規划算法在CPU-GPU雲平台下的調度最佳化、多序列匹配算法共享最佳化及在GPU環境下的調度最佳化等。