面向大數據高通量仿真的異構計算數據通信建模與最佳化

《面向大數據高通量仿真的異構計算數據通信建模與最佳化》是依託北京理工大學，由翟岩龍擔任項目負責人的青年科學基金項目。

基本介紹

• 中文名：面向大數據高通量仿真的異構計算數據通信建模與最佳化
• 依託單位：北京理工大學
• 項目負責人：翟岩龍
• 項目類別：青年科學基金項目

項目摘要

建模與仿真技術廣泛套用于軍事、航天、航空等重要領域，是歐美等已開發國家競相發展的關鍵技術。大數據給仿真技術帶來新的機遇和挑戰，CPU與GPU等異構眾核處理器協同計算是解決大數據高通量仿真計算問題的必然趨勢。然而，CPU/GPU協同計算時的通信瓶頸不僅阻礙其充分發揮計算性能也對仿真開發提出了更高的要求，成為制約該項技術推廣套用的關鍵問題。本項目以CPU/GPU異構協同計算的數據通信為研究對象，對包含編譯製導語句的混合程式數據通信特徵和數據傳輸規律進行基礎科學研究。具體內容包括：分析包含編譯製導語句的混合程式數據流特徵和數據通信規律；研究數據流信息感知的通信指令遷移方法與最最佳化通信融合模型；研究數據流信息感知的通信指令異步化方法與最優通信隱藏機制。通過改造的數據流分析方法，建立面向異構計算的混合程式數據通信模型與最佳化理論，為推動我國大數據高通量仿真發展與套用奠定理論和技術基礎。

結題摘要

高通量仿真是以雲計算、大數據和物聯網發展為引導的新一代仿真技術，本項目主要關注大數據高通量仿真中異構計算環境的通信和建模最佳化問題。當仿真系統建立在大數據中心和物聯網邊緣設備之上時，會面臨很多的性能問題，其中最典型的就是與數據相關的傳輸、存儲和執行延遲。本項目主要研究高通量仿真中異構計算環境CPU與GPU協同計算時的數據傳輸最佳化；高通量仿真中異構環境數據存儲最佳化以及仿真服務部署最佳化三個方面的問題。設計了基於數據流特徵和數據通信規律的數據傳輸指令遷移方法和基於核函式數據交換指令合併的數據通信最佳化方法，將高通量異構計算環境中數據傳輸平均提高了32.5%。分析和設計了基於線性哈希的動態可擴展高通量仿真小檔案存儲方法，設計的單級索引結構能夠在減少記憶體消耗的同時提高數據訪問性能，其中數據存儲性能與原有存儲系統HDFS中提供的多種方案相比性能提升數十倍，影響更關鍵的是數據的隨機訪問性能，該方法比HDFS性能提升40%，與MapFile相比性能平均提升5倍，比HAR性能平均提升4倍。因此可以看出本項目提出的數據訪問方法能夠在大數據高通量仿真中起到非常關鍵的作用，擁有良好的套用前景。提出了基於深度強化學習模型的高通量仿真服務邊緣側部署最佳化方法，該方法在滿足眾多約束的前提下將仿真服務儘量部署在邊緣側，使仿真模型和服務生成的數據儘量本地存儲和處理，在必要的時候經過網路存儲到雲中，這樣進一步的減少了數據通信，提高仿真的執行性能。實驗效果良好，與現有最好方法相比，本項目提出的方法可以將在本地執行的仿真服務數量提高13.4%，總體回響時間提高5%。綜上所述，本項目在幾個方面的研究成果能夠有效的提高高通量仿真的性能，在數據傳輸、存儲與執行方面取得了良好的效果，對於推動我國大數據高通量仿真的發展具有推動意義。