大規模NUMA環境的巨型虛擬機高可擴展性研究

《大規模NUMA環境的巨型虛擬機高可擴展性研究》是依託上海交通大學，由陳海波擔任項目負責人的面上項目。

基本介紹

• 中文名：大規模NUMA環境的巨型虛擬機高可擴展性研究
• 項目類別：面上項目
• 項目負責人：陳海波
• 依託單位：上海交通大學

項目摘要

當前大型伺服器日趨NUMA化並且呈現出分散式系統特徵：不僅CPU的訪存呈現出顯著的非一致性，而且不同I/O節點之間的數據訪問的速度差異日趨擴大。另一方面，系統虛擬化的深入推廣需要支持具有更大處理能力的巨型虛擬機以支持記憶體計算、圖計算與數據密集計算等新型套用。 然而，當前的虛擬機監控器缺乏對巨型虛擬機可擴展性的有效支持，從而造成了較大的性能開銷與可擴展性減低。本項目擬對面向大規模NUMA伺服器的巨型虛擬機性能與可擴展性開展研究，通過設計輕量級線上分析與調優工具對巨型虛擬機在大規模NUMA環境的可擴展性進行刻畫，建立巨型虛擬機高可擴展性的性能模型，並基於該模型研究對虛擬機監控器對大規模NUMA伺服器CPU、 記憶體與I/O資源的可擴展管理與調度機制，從而設計NUMA感知的巨型虛擬機接口與實現，並對特定領域套用進行分析與最佳化。擬研製的虛擬化可擴展方法將以開源與產業套用等方式推動可擴展虛擬化的研究。

結題摘要

當前大型伺服器日趨NUMA化並且呈現出分散式系統特徵:不僅CPU的訪存呈現出顯著的非 一致性，而且不同I/O節點之間的數據訪問的速度差異日趨擴大。另一方面，系統虛擬化的深 入推廣需要支持具有更大處理能力的巨型虛擬機以支持記憶體計算、圖計算與數據密集計算等新 型套用。然而，當前的虛擬機監控器缺乏對巨型虛擬機可擴展性的有效支持，從而造成了較大的性能開銷與可擴展性減低。項目針對面向大規模NUMA伺服器的巨型虛擬機性能與可擴展性開展了深入研究，首先分析了典型圖計算、數據密集計算與記憶體計算等典型套用在巨型虛擬機中的執行特徵，並分析了NUMA虛擬機性能瓶頸，通過設計輕量級線上分析與調優工具對巨型虛擬機在大規模NUMA環境的可擴展性進行刻畫；進一步研究了虛擬機監控器在大規模 NUMA 環境下的可擴展性增強方法，並研究了 NUMA 與 I/O NUMA 資源的可擴展抽象方法；研究基於推斷的虛擬機運行信息收集，研究虛擬機運行時資源需求的刻畫，研究面向巨型虛擬機的可擴展虛擬機調度，在 KVM 虛擬平台上實現相應的方法；最後將相關機制形成了一套低時延、可擴展的虛擬化方法與技術，並向開源社區與產業龍頭企業進行推廣。項目成果總計在SOSP、OSDI、EuroSys、Usenix ATC、FAST、ACM TOCS等高水平會議與期刊發表CCF A類會議論文10篇，CCF A類期刊論文4篇，相關成果被Linux、OpenJDK等著名開源社區接收，成果被套用到華為鯤鵬伺服器、微信平台等，顯著提升了大規模計算平台的可擴展性並降低了時延，成果還獲得了2018年教育部技術發明一等獎（項目負責人為第一完成人）。項目負責人還獲得了2019年基金委傑出青年基金項目、入選2019年ACM傑出科學家。