基於多核處理器的高性能深度數據包檢測技術研究

《基於多核處理器的高性能深度數據包檢測技術研究》是依託湖南大學，由張大方擔任項目負責人的面上項目。

基本介紹

• 中文名：基於多核處理器的高性能深度數據包檢測技術研究
• 項目類別：面上項目
• 項目負責人：張大方
• 依託單位：湖南大學

中文摘要

深度數據包檢測(DPI)技術面臨高性能挑戰，要求滿足線速數據包處理的性能、可伸縮性和靈活性等需求。基於FPGA和ASIC等專用硬體的DPI技術雖然可實現高吞吐量的數據包處理，但是存在編程設計複雜、靈活性差和升級成本高等缺點。多核處理器技術具有強大豐富的並行計算能力和靈活低成本的可擴展性，為高性能DPI設計與實現帶來新的有效途徑，但是也帶來DPI的並行處理和存儲模式等挑戰。針對多核多執行緒和多Cache等特點，本項目將研究基於多核處理器的高性能DPI技術，在靈活可擴展性基礎上提升多核處理器平台上的DPI性能和可伸縮性，實現100Gbps線速數據包處理。本項目重點研究多粒度的數據包並行處理架構、Cache友好的並行特徵匹配算法、基於多核多執行緒的並行哈希表和布魯姆過濾器，以及高性能DPI系統原型實現與評估。本項目的研究成果將為NIDS/NIPS、流量識別、基於內容的路由器等提供靈活高效數據包處理。

結題摘要

深度數據包檢測（DPI）技術在綜合性能、可伸縮性和靈活性等方面面臨日益嚴峻的挑戰。傳統的基於專用硬體的方案雖然能獲得很高的吞吐率，但存在靈活性差、升級成本高等缺陷。相比之下，多核處理器具有強大豐富的並行計算能力和靈活低成本的可擴展性等優點，為DPI技術帶來新的機遇和挑戰。本項目針對多核處理器的多核多執行緒和多級快取等特點，研究基於多核處理器的高性能DPI技術。圍繞包頭檢測、包內容檢測和流識別等問題，重點研究點快取友好的並行匹配結構和算法、基於多核處理器的異構並行包處理架構以及移動套用場景下流分析和惡意流識別等技術。 為提升快取利用率，本項目首先研究存儲高效的並行匹配結構和算法。對於包頭檢測，基於規則拆分提出了一種存儲高效的並行查找模型減少了超過90%的片上存儲。而對於包內容檢測，先後提出了一種智慧型有限狀態自動機和一種基於多步長索引表的自動機結構來實現時空高效的正則表達式匹配。此外，對於包檢測算法中常用到的布魯姆過濾器，提出了一種高精度的多分割計數布魯姆過濾器和一種基於分層結構的高精度布魯姆過濾器，在有效降低假陽性的同時還實現了處理性能的提升。基於上述結構和算法的深入研究，本項目進一步探索基於多核處理器的異構並行架構。以多核CPU為主處理器，負責銜接包輸入輸出模組、進行數據包調度和邏輯控制。同時協同一些專用或通用設備來負責核心匹配處理的並行加速。針對三態可定址存儲器（TCAM）提出了兩種高效的正則表達式匹配算法，在大幅降低能耗的同時還實現了吞吐率的提升；針對現場可程式門陣列（FPGA）提出了一種存儲高效且平衡的雙向流水線結構，僅用很少的流水級就能實現理想的平衡度，且還能獲得綜合性能的全面提升；針對圖形處理單元（GPU）提出了一種高效可擴展的查找引擎架構，不僅能實現數百Gbps的吞吐率，系統穩定性也獲得了大幅提升。此外，本項目還將研究工作延伸到了移動套用場景。首先設計並實現了一個基於自動執行的Android套用網路流量生成器，並在此基礎上提出了一個基於網路流量開銷的套用推薦技術。通過對所採集的Android套用網路流量進行深入分析，提出了一種基於聚類算法的殭屍網路識別技術和二次打包套用的高效識別技術。 本項目的研究成果將為未來基於異構並行平台的網路入侵檢測系統、移動套用流量監控系統和以內容為核心的路由交換設備提供堅實的技術支撐。