隨著網際網路信息的爆炸性增長,文本、圖像、音頻和視頻等不同模態媒體海量出現,在豐富人們日常生活的同時,信息安全問題也日漸突出。網際網路上越來越多的政治敏感、涉恐涉暴和色情淫穢信息開始廣泛傳播,對人們的工作生活造成極其惡劣的影響。
網路異質媒體監測技術主要針對網路上日益泛濫的不良內容進行監測和監管的技術。
基本介紹
- 中文名:網路異質媒體監測技術
- 行業:網際網路
技術背景,技術說明,功能特點,技術參數,系統配置,研發團隊,
技術背景
隨著網際網路信息的爆炸性增長,文本、圖像、音頻和視頻等不同模態媒體海量出現,在豐富人們日常生活的同時,信息安全問題也日漸突出。網際網路上越來越多的政治敏感、涉恐涉暴和色情淫穢信息開始廣泛傳播,對人們的工作生活造成極其惡劣的影響。在這樣的背景下,中科院自動化所模式識別國家重點實驗室利用自身在異質媒體內容識別方面的技術優勢,研發出了網路異質媒體監測技術,可有效加強工作網路和數據中心中異質媒體的監管,阻斷不良敏感信息的傳播,保障網路環境安全。
技術說明
2.1 系統概述
網路異質媒體監測技術是中科院自動化所模式識別國家重點實驗室視頻內容安全團隊研發的中國第一款專業的網路異質媒體監管產品,適合大型集團企業、行政單位、校園等組織機構的網路中心端部署。本系統利用基於深度學習的異質媒體內容理解與分析技術,全方位監管網路中異質媒體信息(文本、圖像、音頻和視頻),規範網路行為,可有效杜絕涉恐涉爆、涉黃淫穢、政治敏感等有害信息入侵與傳播的違規違法等行為的發生。
2.1 解決方案
網路異質媒體監測技術主要分為數據流量捕獲、異質媒體深度智慧型識別、基礎管理平台三大部分組成,能夠在不中斷不影響網路正常運轉的情況下,解決全網數據流量的捕獲與監管問題。整體解決方案如圖1所示。
在數據採集方面,網路異質媒體監測技術支持電口和光口的數據採集,支持1G/10G/40G全線速接入,可實時採集、匯聚、分發、複製、解析所需數據,同時不影響網路正常運轉。在異質媒體監管方面,HMAS-2000提供異質媒體(文本、圖像、音頻、視頻)的深度挖掘與分析,並基於已有的判別模型和鑑定規則對媒體數據進行安全評估,可對高危信息進行及時預警和阻攔,同時,網路異質媒體監測技術支持自定義監管任務,用戶可自行定義監管內容和安全級別,定製監管目標(例如指定敏感人物監管、敏感圖像監管等等)等。在綜合管理方面,網路異質媒體監測技術提供完善的用戶許可權管理,監管日誌的統計分析,檢測報告自動生成,多維度深度信息查詢等,全面呈現系統全局狀況,使管理者可以直觀便捷的掌握網路數據情況。
網路異質媒體監測技術的異質媒體監管系統架構如圖2所示。
網路異質媒體監測技術產品是網路異質媒體數據流捕獲和監測的全面解決方案。目前提供基於多線索融合技術的涉恐涉暴圖像/視頻識別,基於多線索檢測的政治敏感信息識別(含敏感關鍵字/敏感人物/敏感場景等),基於多示例學習的特定人物檢測,基於深度學習技術的色情淫穢圖像/視頻識別和血腥暴力圖像/視頻識別,基於聯合規則的有害文本識別等。同時網路異質媒體監測技術根據國家法律法規建立了監測規則庫和黑白名單庫,並且該庫是可擴展的,用戶可靈活調整更改規則庫和黑白名單庫,以適應自身網路環境和監管任務的需求。
功能特點
網路異質媒體監測技術是全國第一款針對網路中異質媒體數據安全問題研發的專用監管設備。產品功能如下。
3.1 高效安全的數據鏡像
網路異質媒體監測技術設備支持10/100M、10/100/1000M、Optical SX/LX/ZX各類鏈路,可安裝與線上或通過SPAN連線埠安裝,連線埠配置可設定為以全線速匯聚、複製或傳送流量到指定的分析和存儲設備連線埠。網路異質媒體監測技術的數據採集分路器能夠保留全部原始數據(含錯包、壞包),並保證原始數據包順序,同時支持鏈路失效安全處理。
3.2 精準高效的識別管控
網路異質媒體監測技術能夠識別千餘種協定和套用,覆蓋IM即時通訊、P2P下載、流媒體、遊戲娛樂等多類套用協定,可有效識別其中包含的異質媒體數據。基於深度學習、多線索融合、圖像屬性學習等人工智慧技術,網路異質媒體監測技術系統可以從多維度解讀文本/圖像/音頻/視頻等異質媒體數據,挖掘隱含信息,對數據進行全方位的安全評估。
網路異質媒體監測技術主要分為數據流量捕獲、異質媒體深度智慧型識別、基礎管理平台三大部分組成,能夠在不中斷不影響網路正常運轉的情況下,解決全網數據流量的捕獲與監管問題。
涉恐涉暴識別方面,對圖像進行視覺屬性分析,檢測圖像中涉恐涉暴相關目標、行為、文本和語音,利用多任務分類器,建立多線索語義深度融合策略,從多個維度對圖像及視頻進行涉恐涉暴內容識別。可以及時發現媒體數據中涉及的宗教極端思想、民族分裂思想、恐怖主義和軍事訓練等信息,並阻斷其繼續傳播。
政治敏感識別方面,採用基於多線索檢測的融合識別策略,從政治敏感關鍵字、政治敏感人物、政治敏感場景等多個維度對文檔/圖像/視頻進行檢測。可以有效控制惡意污衊國家領導人,宣揚反動思想,捏造虛假政治新聞等違規數據的傳播。
特定目標檢測方面,採用基於R-CNN的特定目標檢測技術,利用深度神經網路端到端的學習能力,以及多目標並行檢測能力,對圖像和視頻中的特定目標(可由用戶自定義,例如特定人臉、特定圖像等)進行快速檢測。管理人員可以根據國家及地區政策法規,定製目標監管任務。
色情淫穢識別方面,利用深度學習的圖像識別/分類技術,結合膚色檢測、隱私部位檢測、形體輪廓檢測等技術,深度理解圖像內容;在方法層面採用了基於圖的方法、基於多示例學習的方法,對圖像及視頻進行低俗涉黃內容識別。
血腥暴力識別方面,採用基於多種上下文結構與深度特徵挖掘的圖像識別/分類技術,融合不同語義層次的特徵,並結合情感分析技術,對圖像及視頻進行血腥暴力程度鑑定。
文本安全鑑定方面,採用文本上下文理解技術,通過分詞,段落語義理解技術,在聯合規則制定的基礎上,進行詞/句/文的安全鑑定。
用戶行為識別方面,通過龐大的URL分類資料庫以及機器學習分類模型,建立全面的用戶網路瀏覽行為跟蹤機制和內容安全審計功能。支持關於用戶身份識別、URL網址識別、業務套用智慧型識別與統計、網頁信息記錄、通信過程記錄、外網傳送內容審計的全方位管控。
3.3 豐富直觀的審計報表
網路異質媒體監測技術系統可提供各個歷史時段的監測數據的統計分析,支持監測報告自動生成並可通過系統後台自動傳送或Email訂閱。在管理員端,網路異質媒體監測技術提供多維度深度信息查詢,並支持數十種報表模板,可以EXCEL、PDF、WORD、HTML等形式導出保存,同時支持報表自定義。
技術參數
4.1 網路數據鏡像技術
(1)支持1G/10G/40G全線速接入
(2)支持OSI 2-7層條件過濾
(3)基於數據流感知的負載均衡
(4)支持10/100M、10/100/1000M、Optical SX/LX/ZX各類鏈路
(5)可選擇的匯聚(任意的連線埠映射)
(6)網路接入或監測輸出連線埠均輸入/輸出可配置
(7)本地和遠程管理:支持API、CLI和GUI(HTTP/HTTPS、Telnet/SSH、SNMPv1-3)
(8)自定義許可權的多用戶接入、獨立螢幕視圖和管理接入限制
(9)鏈路失效安全處理
(10)保留全部原始數據(含錯包、壞包)
4.2 異質媒體智慧型識別
(1)暴恐識別算法準確率超過93.0%,誤檢率低於2.0%,速度達到< 0.1s/張;
(2)政治敏感識別算法準確率超過93.0%,誤檢低於2.0%,速度達到0.1s/張;
(3)特定目標檢測算法準確率超過93.0%,誤檢低於2.0%,速度達到0.1s/張;
(4)色情識別算法準確率超過99.0%,誤檢低於1.0%,速度達到0.1s/張;
(5)血腥暴力識別算法準確率超過93.0%,誤檢率低於2.0%,速度達到0.1s/張;
(6)有害網站識別準確率超過99.0%,誤檢低於3.0%;
(7)用戶有害網路行為鑑定準確率超過97.0%;
(8)支持每秒10GB的異質媒體檢測吞吐量;
4.3 系統綜合管理平台
(1)支持有害信息快速預警,可以郵件形式及時通知管理人員;
(2)支持對Tap設備、審計設備和存儲陣列的統一管理和配置;
(3)支持對網路異質媒體監測技術系統的綜合管理,包括識別算法的定製更新,任務定製,用戶管理,資料庫管理等;
(4)支持各個歷史時段的監測數據的統計分析,可實時呈現數據分析結果;
(5)支持數十種報表模板,支持報表自定義,可以以EXCEL、PDF、WORD、HTML等形式導出保存;
(6)支持報表通過系統後台自動傳送或Email自動訂閱。
系統配置
模組 | 主要配置及參數 |
網路數據鏡像模組 | 1)支持網路中數據流量的複製/匯聚/分流一體化 2)支持1G/10G/40G全線速接入 3)支持網路吞吐量:40Gbps 4)支持並發連線數:1500000 5)支持8個SFP光纖千兆口 6)支持數據包去重 7)支持鏈路失效安全處理 |
異質媒體涉恐涉暴識別模組 | 1)準確率超過93.0%,誤檢率低於2%,速度達到0.1s/張; 2)支持判定閾值自行調節(0-1); 3)支持每秒10GB的數據吞吐量; 4)支持不良數據自動預警; 5)支持不良數據及其相關信息自動備份; |
異質媒體政治敏感識別模組 | 1)準確率超過93%,誤檢低於2%,速度達到0.1s/張; 2)支持判定閾值自行調節(0-1); 3)支持每秒10GB的數據吞吐量; 4)支持不良數據自動預警; 5)支持不良數據及其相關信息自動備份; |
異質媒體特定目標檢測模組 | 1)準確率超過93%,誤檢低於2%,速度達到0.1s/張; 2)支持檢測目標定製,包括特定人物、特定圖像等; 3)支持判定閾值自行調節(0-1); 4)支持每秒8GB的數據吞吐量; 5)支持不良數據自動預警; 6)支持不良數據及其相關信息自動備份; |
異質媒體色情淫穢識別模組 | 1)準確率超過99.0%,誤檢低於1%,速度達到0.1s/張; 2)支持判定閾值自行調節(0-1); 3)支持每秒10GB的數據吞吐量; 4)支持不良數據自動預警; 5)支持不良數據及其相關信息自動備份; |
異質媒體血腥暴力識別模組 | 1)準確率超過93%,誤檢率低於2%,速度達到0.1s/張; 2)支持判定閾值自行調節(0-1); 3)支持每秒10GB的數據吞吐量; 4)支持不良數據自動預警; 5)支持不良數據及其相關信息自動備份; |
用戶行為監管模組 | 1)支持有害網站識別,準確率超過99%,誤檢低於1%; 2)支持用戶有害網路行為鑑定,準確率超過97%; 3)支持每秒10GB的數據吞吐量; 4)支持不良數據自動預警; 5)支持不良數據及其相關信息自動備份; |
數據存儲模組 | 1)支持20T的存儲空間; 2)支持網路異常數據自動備份; 3)支持異質媒體數據分類存儲; 4)支持4G 高速快取; |
綜合管理模組 | 1)支持有害信息監測快速預警; 2)支持對Tap設備、審計設備和存儲陣列的統一管理和配置; 3)支持對HMAS-2000系統的綜合管理,包括識別算法的定製更新,任務定製,用戶管理,資料庫管理等; 4)支持各個歷史時段的監測數據的統計分析,可實時呈現數據分析結果; 5)支持數十種報表模板,支持報表自定義,可以以EXCEL、PDF、WORD、HTML等形式導出保存; 6)支持報表通過系統後台自動傳送或Email自動訂閱。 |
研發團隊
網路異質媒體監測技術由中國科學院自動化研究所模式識別國家重點實驗室李兵研究員負責的內容安全團隊研發。