面向大數據的高時效並行計算機系統結構與技術

《面向大數據的高時效並行計算機系統結構與技術》是依託中國人民解放軍國防科技大學，由肖儂擔任項目負責人的聯合基金項目。

基本介紹

• 中文名：面向大數據的高時效並行計算機系統結構與技術
• 項目類別：聯合基金項目
• 項目負責人：肖儂
• 依託單位：中國人民解放軍國防科技大學

中文摘要

當前，商業智慧型、社會管理、科學計算等多個領域的大數據處理套用都蘊含了高性能、低延遲的需求，對傳統數據處理設施帶來了高時效計算挑戰，迫切需要在大數據的存取方法、處理硬體和軟體支撐方面作出重大革新。為此，提出了面向大數據的高時效並行計算機系統結構與技術的研究課題。在並行計算系統體系結構方面，主要研究面向大數據的高性能加速處理器結構和大數據的可擴展異構並行計算體系結構；在混合主存系統方面，主要研究面向大數據的流式高並發主存結構和混合主存的數據管理最佳化機制；在並行處理的軟體支撐方面，主要研究基於異構平台的任務粒度劃分與高效規劃機制和並行處理系統中高吞吐、低延遲的數據布局機制。最後，通過實際套用的大數據進行測試驗證研究成果。本項目研究具有重要的學術價值和套用前景，為設計和研製高時效的大數據分析和處理計算系統提供了基礎理論方法和技術。

結題摘要

當前，商業智慧型、科學計算、機器學習等多個領域的大數據處理套用都具有高性能、低延遲的需求，對傳統數據處理系統提出了挑戰，迫切需要在大數據的存取方法、處理硬體和軟體支撐方面作出重大革新。針對大數據的高時效並行處理需求，本項目主要從基於加速器的並行可擴展計算系統體系結構、高並發的大容量混合主存系統、大數據處理的並行任務支撐技術等三個方面進行了研究。提出了基於交叉多執行緒的流處理器加速器結構，並在FPGA平台上設計實現了基於交叉多執行緒的流處理器原型系統，並通過PCIe接口與主機相連，構建了8節點的異構並行原型系統；基於新型存儲介質，提出了同時支持行和列訪問的非易失記憶體系統、基於憶阻器的非對稱交叉陣列記憶體系統設計，提出了低記憶體開銷的快取替換策略、混合哈希目錄索引策略和基於哈希的全路徑檔案名稱解析機制，設計實現了基於快閃記憶體並發訪問同步控制器，構建了1TB的高速大容量固態存儲體原型系統；設計實現了新型體系結構上的圖處理加速框架，解決快取偽共享難題、GPU上同步鎖和原子操作開銷、圖動態核值更新等問題，基於RDMA技術提升了memcached、Spark和MXNet等大數據存儲和處理系統的數據傳輸效率。本項目的高時效並行計算機系統結構與關鍵技術方面的研究成果通過自行研製的原型系統進行了測試驗證，為面向大數據的高時效並行計算機系統的研製提供了理論方法和技術基礎。