《敵手環境中安全機器學習關鍵技術研究》是依託中國人民解放軍國防科技大學，由龍軍擔任項目負責人的青年科學基金項目。
基本介紹
- 中文名：敵手環境中安全機器學習關鍵技術研究
- 項目類別：青年科學基金項目
- 項目負責人：龍軍
- 依託單位：中國人民解放軍國防科技大學
中文摘要,結題摘要,
中文摘要
統計機器學習因能有效發現經驗數據中的隱藏模式，已套用於眾多真實世界問題，從而使相關套用系統具備自適應特點。但是在存在惡意對手的敵手環境中（如入侵檢測、垃圾郵件過濾等），機器學習的引入也會給相關套用系統帶來新的脆弱性。惡意對手可以利用機器學習依賴樣本的特性進行攻擊，從而導致其分類性能下降，包括：惡意對手探索學習器的分類邊界，從而傳送學習器會誤分類的樣本；或惡意對手污染訓練樣本，使學習器分類正確率下降。面對這一威脅,本項目研究當存在惡意對手的情況下，增強機器學習安全性的若干關鍵技術，主要研究內容包括：①攻擊威脅模型和機器學習安全性分析框架；②探索型和使役型攻擊的檢測技術；③離線情況下的攻擊容忍學習算法；④線上情況下的攻擊容忍學習算法。本項目關於安全機器學習的理論分析和算法實現，可推動機器學習安全性的理論認識，並有助於解決機器學習在敵手環境下的套用障礙，在惡意行為檢測等套用領域展現重要前景。
結題摘要
統計機器學習因能有效發現經驗數據中的隱藏模式，已套用於眾多真實世界問題，從而使相關套用系統具備自適應特點。但是在存在惡意對手的敵手環境中（如入侵檢測、垃圾郵件過濾、惡意代碼檢測等），機器學習的引入也會給相關套用系統帶來新的脆弱性。惡意對手可以利用機器學習依賴樣本的特性進行攻擊，從而導致其分類性能下降，包括：惡意對手探索學習器的分類邊界，從而傳送學習器會誤分類的樣本；或惡意對手污染訓練樣本，使學習器分類正確率下降。面對這一威脅,本項目研究當存在惡意對手的情況下，增強機器學習安全性的若干關鍵技術，主要研究內容包括：①敵手環境中攻擊威脅模型；②敵手環境中機器學習安全性分析框架；③攻擊容忍學習算法。本項目的主要研究成果和結論包括：① 根據信息安全問題的實際情況，並考慮半監督學習和主動學習的場景，引入未標註樣本的污染問題，明確了敵手環境中的攻擊威脅模型，並提出針對未標註樣本污染的幾種典型攻擊，使針對機器學習的攻擊譜系更加完整；② 基於提出的敵手環境攻擊威脅模型，並結合博弈論，擴展了機器學習安全性定量分析框架；③ 在前述研究的基礎上，提出一系列攻擊容忍學習算法，包括：基於主動學習的攻擊容忍學習算法、基於自適應多核學習的攻擊容忍算法、缺失多核學習的攻擊容忍算法和面向刪除型污染攻擊的容忍算法；④ 在研究和測試過程中，完成了一套敵手環境中基於深度、混合機器學習技術和NetFPGA板卡的入侵防禦系統，集成了提出的各種針對機器學習的攻擊算法和攻擊容忍算法。本項目關於安全機器學習的理論分析、算法研究以及系統開發，將機器學習安全性的理論認識擴展到半監督、監督、主動學習三種範式上，拓寬了對機器學習安全性的理論認識，並有助於解決機器學習在敵手環境下的套用障礙，在惡意行為檢測等套用領域展現重要前景。
