《虛擬化數據中心記憶體資源預測與動態調配》是依託北京大學，由羅英偉擔任負責人的面上項目。
基本介紹
- 中文名：虛擬化數據中心記憶體資源預測與動態調配
- 外文名：Prediction and dynamic allocation of memory resources in virtual data center
- 項目負責人：羅英偉
- 項目類別：面上項目
- 依託單位：北京大學
- 批准號：61272158
- 負責人職稱：教授
項目摘要,結題摘要,
項目摘要
記憶體資源對於整個數據中心的性能有著顯著的影響。在虛擬化數據中心內，由於大量虛擬機並發運行並且虛擬機在不同時刻對記憶體資源的需求是動態變化的，如何在單個伺服器以及整個數據中心內進行記憶體資源的動態調配，使得分配給虛擬機的物理記憶體大小能夠滿足其上應用程式不斷變化的記憶體需求，是提高記憶體資源利用率和提升整個數據中心綜合性能的關鍵。本項目主要研究一種預測式的記憶體資源管理方法，對虛擬機的記憶體資源進行線上的監控和預測，並根據預測結果動態調配虛擬機的記憶體資源。這裡，研究的關鍵是低開銷、高精確度的記憶體工作集線上跟蹤與預測方法，及面向單機和全局的動態記憶體調配策略。我們擬利用硬體計數器，對傳統的記憶體預測機制進行擴展和改進，研究並實現一個低開銷、高精確度的記憶體工作集跟蹤機制。在獲得了精確的記憶體需求之後，我們將通過氣球技術、遠程記憶體技術以及虛擬機線上遷移技術來實現單機和全局的記憶體資源的動態調配。
結題摘要
本項目主要圍繞記憶體工作集預測及管理、記憶體虛擬化最佳化、Cache分析管理以及GPU管理與虛擬化等開展研究。 在記憶體工作集預測與管理方面，提出了一種基於硬體計數器的間歇式虛擬機記憶體工作集預測方法，能以2%的平均開銷獲得95.2%的平均精度；設計實現了大頁環境下的虛擬機記憶體調配機制、虛擬機遠程記憶體機制等；基於動態規划算法，以較小的代價找到最合適的記憶體調度方案。提出了基於平均淘汰時間的快取動力學模型，以當前最低的時間和空間複雜度來動態探測程式快取失效曲線，並適用於任何存儲快取系統中。針對分散式記憶體快取系統，提出了一種基於局部性分析的記憶體分配算法，使得系統整體的失效率或平均回響時間最小。 在記憶體資源虛擬化最佳化方面，針對頻繁分配釋放記憶體的套用，現有的運行時記憶體管理策略與虛擬化特性不匹配，我們在記憶體管理策略中增加了延時記憶體釋放機制，避免了套用產生大量缺頁導致虛擬機頻繁陷出帶來的開銷；提出了一個基於對齊的大頁最佳化機制，提升大頁使用率，並對不同記憶體虛擬化方法下如何使用大頁機制進行了全面分析。 在快取分析和管理方面，提出了共享邏輯時間的概念，建立了多個程式並發執行時的快取失效曲線組合模型及調度策略；提出了快取定量配給、快取劃分共享等新的“保守共享”的快取管理策略，在保證每個套用擁有一定比例的快取的同時，又使得多餘快取能夠在被所有套用按另一比例共享。 在GPU管理與虛擬化方面，針對同步密集型GPU程式由於頻繁的同步操作所造成的影響，提出了執行緒束等待數最多優先調度策略和預取發射相協調策略，兩者相互配合來減少同步開銷。提出通過虛擬機與虛擬機管理器間的記憶體共享，配合循環中GPU調用的自動聚合，有效緩解了GPU虛擬化開銷過大的問題。 在套用方面，實現了一個面向虛擬化數據中心的記憶體資源綜合最佳化管理原型系統以及一個套用示範系統——基於虛擬機的個性化虛擬實驗環境，相關技術套用到騰訊、華為、UCloud的數據中心中。
