《面向高性能計算的高效平台虛擬化關鍵技術研究》是依託清華大學，由姜進磊擔任項目負責人的面上項目。
基本介紹
- 中文名：面向高性能計算的高效平台虛擬化關鍵技術研究
- 依託單位：清華大學
- 項目負責人：姜進磊
- 項目類別：面上項目
項目摘要,結題摘要,
項目摘要
虛擬化突破了資源實現、地理位置或物理封裝方式等方面的限制，能夠為最終用戶、應用程式和企業帶來許多好處。儘管如此，大規模的虛擬化管理還隱藏著諸多挑戰，例如過時的假定、系統蔓生、規模受限、資源爭用、互操作性、故障處理等。本課題針對假定過時、規模受限、資源爭用和系統蔓生等問題，面向高性能計算套用場景，以全系統的觀點研究提高虛擬化效率的方法和機制，其主要研究內容包括：(1)面向單一主機的高效虛擬機技術，解決虛擬機管理程式對於多核平台的充分利用、虛擬機I/O效率的提升、資源在不同虛擬機之間的動態再分配問題；(2)虛擬機/套用鏡像的高效存儲與傳輸技術，解決鏡像占用大量存儲空間、鏡像傳輸消耗大量網路頻寬的難題；(3)虛擬計算環境中的資源分配和任務調度技術，提出適於虛擬化場景的、更為高效的資源分配和任務調度方法；(4)虛擬計算環境的可靠與穩定保障技術，解決傳統的容錯技術難以滿足高性能計算要求的問題。
結題摘要
項目針對大規模虛擬化管理中所存在的假定過時、規模受限、資源爭用和系統蔓生等問題，面向高性能計算場景，以全系統的觀點研究提高虛擬化效率的方法和機制。 項目圍繞面向單一主機的高效虛擬機技術、虛擬機/套用鏡像的高效存儲與傳輸技術、虛擬計算環境中的資源分配和任務調度技術、虛擬計算環境的可靠與穩定保障技術等內容，以虛擬機鏡像的存儲與傳輸為突破口，取得了以下主要成果： (1) 提出了一種高效的虛擬機鏡像存儲和傳輸方法，該方法採用基於定長數據切塊的去冗餘技術減少了鏡像存儲的空間占用，通過數據塊的快取和按需傳輸機制減少了傳輸內容，降低了網路負載，採用P2P(對等傳輸)技術提高了鏡像檔案的分發速度。實驗結果表明，在給定的測試環境中，項目所提出的方法能夠節省至少40%的存儲空間，提升至少2~3倍的傳輸速度。 (2) 提出了單機環境中基於XEN的、面向實時任務的虛擬機調度方法，該方法在XEN的信用調度基礎上，引入了虛擬CPU的urgent狀態來標識實時套用，並通過調整虛擬CPU時間片的大小以及虛擬CPU各個狀態間之間的轉換關係，使得虛擬機可以快速地回響I/O請求。實驗結果表明，相比於信用調度，項目所提出的方法不僅減小了實時任務的運行延遲，而且提高了回響時間的穩定性。 (3) 提出了在虛擬環境中自動高效部署套用軟體的方法，設計了相應的系統EasyDeploy並進行了測試。實驗結果表明，EasyDeploy無需藉助集群軟體部署工具的幫助即可快速完成Hadoop等集群軟體在虛擬集群中的部署，其內置的軟體快取和預取最佳化策略會減少75%的軟體傳輸時間開銷。 (4) 提出了一種虛擬機跨數據中心快速動態遷移的方法，該方法利用鏡像副本減少虛擬機動態遷移過程中的鏡像數據傳輸，採用前拷貝和後拷貝相結合的跨數據中心快速動態鏡像遷移算法和髒塊去冗機制進一步減少數據傳輸，通過缺塊預取和熱區排序傳輸機制減少後拷貝階段的缺塊率。實驗表明，所提方法能夠有效減少虛擬機遷移時間，降低後拷貝階段的缺塊率。 (5) 提出了一種IO特徵感知的虛擬機調度方法，該方法綜合考慮物理機和虛擬機的CPU、記憶體和網路IO等信息，採用指數平滑算法來預測負載的變化情況，能夠用很少的額外開銷，獲得更好調度效果：不同類型的虛擬機在集群中的分布變得更加合理，任務的平均完成時間以及IO操作的標準差均不同程度的變小了。
