異構多核環境下支持系統軟體可伸縮性的可控存儲架構

《異構多核環境下支持系統軟體可伸縮性的可控存儲架構》是依託北京大學，由汪小林擔任負責人的面上項目。

基本介紹

• 中文名：異構多核環境下支持系統軟體可伸縮性的可控存儲架構
• 項目負責人：汪小林
• 項目類別：面上項目
• 依託單位：北京大學

項目摘要

隨著多處理器、多核、眾核技術的迅猛發展和廣泛套用，存儲訪問的瓶頸變得尤為突出。儘管國內外學術界已經就多核環境下的軟硬體協同問題展開了不少研究，但相關工作仍處於初步探索階段。人們對於如何度量多核系統的性能及可伸縮性的認識尚不夠深刻；對於如何提高軟體系統的並發度，如何可控地利用多核系統中的高速快取、匯流排頻寬等共享的存儲資源，如何更好的適應核與核之間的異構特徵等問題仍未能形成共識。同時，多核系統的硬體架構也在快速地發展變化，系統軟體對各種新處理器適應性和可伸縮性的重要性日益凸顯。為此，本項目將針對多核環境中存儲系統的性能瓶頸日益增大、異構性不斷加強的趨勢，探索新的系統軟體的設計方法和最佳化策略；通過調整數據布局、最佳化調度等手段，對異構存儲架構進行細粒度的控制與利用，從而提升作業系統、虛擬機管理器、資料庫管理系統等系統軟體在新一代硬體平台上的性能和可伸縮性。

結題摘要

隨著多核處理器的普及和雲計算服務的發展，從高速快取、記憶體到外存整個存儲架構已經成為影響整體系統性能的瓶頸。本項目採用兩種面向性能最佳化的系統軟體設計模式——採樣監控與動態調整和高層特徵層間透傳與識別，對高速快取和記憶體資源進行監控、調度和最佳化，提升整體系統的性能與伸縮性。 在採樣監控與動態調整方面，對記憶體快取空間分配、共享快取調度、動態快取劃分和工作集預測與調整等方面進行研究。針對記憶體快取系統（Memcached）的類間記憶體分配鈣化問題，利用快取局部性原理，基於快取足跡可組合的特性，採用動態規划算法計算最優分配方案，對類間記憶體分配進行動態調整，最佳化效果接近理論最優。針對多核架構下共享快取競爭問題，提出了兩種失效率曲線快速採樣方法（ABF採樣和CBF採樣），僅用不超過一秒時間的採樣數據，並套用快取失效率曲線組合模型，即可計算出最佳化的組合調度方案。針對基於頁面著色的高速快取劃分粒度過大的問題，提出僅對熱頁記憶體進行著色快取劃分的方法，能夠更精準的控制快取劃分，降低共享快取套用間的相互影響。針對伺服器虛擬化中虛擬機記憶體超配問題，利用處理器性能計數器統計信息，實現間歇式的基於重用距離的低開銷的記憶體工作集預測，指導在虛擬機間進行記憶體調配。 在高層特徵層間透傳與識別方面，對記憶體大頁最佳化、動態記憶體管理運行時最佳化和GPU虛擬化最佳化等方面進行了研究。使用大頁記憶體可以降低地址轉換開銷和缺頁頻度，通過修改核心以及運行時庫，實現強制的記憶體分配大頁對齊，避免了現有的透明大頁機制並不能充分利用大頁的問題。對虛擬機中頻繁分配釋放記憶體的套用，預設的運行時記憶體管理策略與虛擬化特性不匹配，通過增加延時記憶體釋放機制，避免了套用產生大量缺頁導致虛擬機頻繁陷出帶來的開銷。通過虛擬機與虛擬機管理器間的記憶體共享，配合循環中GPU調用的自動聚合，緩解了GPU虛擬化開銷過大的問題。 此外，在快取局部性理論方面，提出了快取劃分共享方法，可實現有公平性要求的快取調度最佳化。提出了基於平均淘汰時間的快取動力學模型，能夠線上性時間內以更小的空間代價獲得套用的快取失效率曲線，並保持了共享快取時的可組合性。