社會網路異常事件的檢測方法及數據處理技術研究

《社會網路異常事件的檢測方法及數據處理技術研究》是依託北京航空航天大學，由李建欣擔任項目負責人的面上項目。

基本介紹

• 中文名：社會網路異常事件的檢測方法及數據處理技術研究
• 依託單位：北京航空航天大學
• 項目負責人：李建欣
• 項目類別：面上項目

項目摘要

社會網路大數據反映了人類社會和物理世界的複雜聯繫，其大規模用戶和海量實時數據能夠有助於異常事件的檢測和分析，具有重要的商業和社會價值。然而由於社交網路的流式數據動態性強、數據量龐大，傳統基於突發特徵以及話題檢測方法難以有效適用。同時，社交網路的實時數據結構上具有圖特徵，且持續更新，傳統批處理方式存在局限性。本項目針對社會網路大數據的異常事件檢測需求和技術挑戰，提出一套以圖結構為數據特徵、以增量處理為算法模式的協同檢測體系。從數據內容層面，研究基於突發特徵增量聚類的異常事件檢測模型，以及非參數異構圖掃描算法和事件評估方法等，從數據結構層面，研究基於圖數據流的異常熱點和節點識別方法；從數據處理層面，研究基於分散式記憶體的圖計算框架、最佳化機制和可靠性保障技術等；最終，研發基於微博的原型系統，並進行技術試驗和套用。本項目將有效平衡事件檢測準確性與處理效率的關係，有助於大數據計算科學問題的探索。

結題摘要

社交網路具有流式數據動態性強、數據量大等特徵，如何有效檢測異常事件並深度分析面臨諸多技術挑戰。本項目提出了一套以圖結構為數據特徵、以增量處理、子模最佳化等為算法模式的協同檢測體系。在數據語義理解方面，提出了基於突發特徵增量聚類的異常事件檢測模型，多維度增強的事件關聯方法，以及誤差有界的增量式詞向量表征學習方法等；在結構異常分析方面，提出了基於動態圖的異常行為檢測模型，基於結構投影機理的稀疏子圖分解最佳化，以及特定結構的子圖檢測方法等；在數據處理方面，設計了面向流式圖的負載均衡技術、異步通信的分散式圖計算技術，以及基於分散式共享記憶體的參數伺服器等。本項目的研究為行為關聯發現面臨的異常隨機稀疏、群體隱含多變、突發檢測信息匱乏等科學難題提供了多種求解理論和算法，並在多項指標取得進展，例如增量式表征方法相比批量式方法計算效率提升30餘倍，極不均衡樣本表征在多分類任務上F1指標提升5倍等，研究有助於社交媒體大數據計算科學問題的持續探索。基於微博、貼吧等多源社交媒體數據，建立了突發事件檢測系統Ring，已匯聚數據100億條，200萬事件，並形成事件知識庫。項目在TKDE, WWW, IJCAI等發表論文35篇，獲1篇最佳論文和1名最佳論文提名獎，申請專利16項，作為重要成果分別獲2018電子學會技術發明一等獎（第1），2017國家技術進步二等獎（第5），培養研究生20名，課題組本碩學生在CCF大數據事件檢測，國際Kaggle欺詐檢測等競賽多次獲獎。項目技術及系統已在國家安全、社會治理、商業服務等領域套用，在國家網際網路應急中心，為31個省級分中心、21個地級市保障中心提供服務，在天津智慧黨建平台，建設津眼系統，實現民情民意實時感知和決策支持。