面向集群式記憶體的容錯機制和數據組織策略研究

《面向集群式記憶體的容錯機制和數據組織策略研究》是依託華中科技大學，由黃建忠擔任項目負責人的面上項目。

基本介紹

• 中文名：面向集群式記憶體的容錯機制和數據組織策略研究
• 項目類別：面上項目
• 項目負責人：黃建忠
• 依託單位：華中科技大學

中文摘要

分析發現，現有集群式存儲的整體性能仍受限於磁碟等外存設備。利用高速網路和節點空閒記憶體構建的集群式記憶體能夠提供高IOPS、低延遲的數據訪問，有助於提升集群式存儲的訪問性能。針對集群式記憶體的記憶體數據容錯和記憶體數據組織挑戰，本項目提出一種基於糾刪碼、採用日誌結構的集群式記憶體方案，通過數據分段、編碼、布局等方式，將集群中多個節點的空閒記憶體構建成一個大容量記憶體級空間，並按副本散布機制來放置記憶體數據和外存副本，獲得數據持久性支持。理論上，構建集群式記憶體存儲框架，研究其數據容錯機制和數據組織策略，建立集群式記憶體可靠性模型；方案上，研究一組關鍵支撐技術，包括基於副本散布的內外存數據布局、基於流水線的記憶體數據恢復、基於日誌的記憶體數據組織和基於日誌分段的記憶體碎片回收方案等。. 本項目旨在研究一種高效、可靠的集群式記憶體方案，其預取成果將豐富記憶體層數據容錯研究，並為最佳化集群式存儲提供方案借鑑和技術參考。

結題摘要

鑒於大數據處理的多樣性，目前出現的多種計算模式(如，大數據查詢分析計算、圖計算、記憶體計算等)對數據存儲提出一個共性要求——讓數據更加接近計算。本項目結合當前高性能計算系統架構，建立了一種分散式糾刪碼記憶體系統框架，即，Proxy節點充當記憶體系統的套用伺服器，為前台用戶提供訪問接口；Proxy節點、Coordinator節點和記憶體節點組成三方架構，支持帶外通信，構建出一個大容量集群式記憶體系統，為前提用戶提供透明的、可靠的記憶體訪問空間。其中，Coordinator節點負責管理所有元數據信息（包括分塊的分布和組織、糾刪碼條帶的組織、分塊訪問信息的管理等），Proxy節點和記憶體節點之間提供記憶體級數據訪問。在糾刪碼記憶體系統框架的基礎上，結合考慮了數據容錯性、訪問傾斜性、訪問局部性、負載均衡性、訪問異構性等多方面因素，本項目研究了多種記憶體數據組織策略和管理方案，包括一種異構感知的糾刪碼歸檔方法LEAP、一種基於預取機制和平衡策略的歸檔最佳化方案PBArch、一種糾刪碼記憶體系統中智慧型數據放置策略WPS、一種針對通用寫的混合式更新方案Hybrid-U、一種訪問熱度感知的冗餘管理方案PaRS和一種流量感知的記憶體數據副本放置策略ERP/TEA。上述研究以數據編碼和數據訪問作為研究切入點，同時充分考慮網路、記憶體、外存等組件的特性，結合‘大容量記憶體級空間’這一需求來研究集群式記憶體的容錯機制和數據組織策略，旨在設計一種高空間效率、高訪問性能的記憶體級數據存儲方案，為‘大容量的熱點數據集’提供高可靠記憶體級空間，進而為大數據分析和處理提供有力的支撐。