社會網路異常事件的檢測方法及數據處理技術研究

《社會網路異常事件的檢測方法及數據處理技術研究》是依託北京航空航天大學,由李建欣擔任項目負責人的面上項目。

基本介紹

  • 中文名:社會網路異常事件的檢測方法及數據處理技術研究
  • 依託單位:北京航空航天大學
  • 項目負責人:李建欣
  • 項目類別:面上項目
項目摘要,結題摘要,

項目摘要

社會網路大數據反映了人類社會和物理世界的複雜聯繫,其大規模用戶和海量實時數據能夠有助於異常事件的檢測和分析,具有重要的商業和社會價值。然而由於社交網路的流式數據動態性強、數據量龐大,傳統基於突發特徵以及話題檢測方法難以有效適用。同時,社交網路的實時數據結構上具有圖特徵,且持續更新,傳統批處理方式存在局限性。本項目針對社會網路大數據的異常事件檢測需求和技術挑戰,提出一套以圖結構為數據特徵、以增量處理為算法模式的協同檢測體系。從數據內容層面,研究基於突發特徵增量聚類的異常事件檢測模型,以及非參數異構圖掃描算法和事件評估方法等,從數據結構層面,研究基於圖數據流的異常熱點和節點識別方法;從數據處理層面,研究基於分散式記憶體的圖計算框架、最佳化機制和可靠性保障技術等;最終,研發基於微博的原型系統,並進行技術試驗和套用。本項目將有效平衡事件檢測準確性與處理效率的關係,有助於大數據計算科學問題的探索。

結題摘要

社交網路具有流式數據動態性強、數據量大等特徵,如何有效檢測異常事件並深度分析面臨諸多技術挑戰。本項目提出了一套以圖結構為數據特徵、以增量處理、子模最佳化等為算法模式的協同檢測體系。在數據語義理解方面,提出了基於突發特徵增量聚類的異常事件檢測模型,多維度增強的事件關聯方法,以及誤差有界的增量式詞向量表征學習方法等;在結構異常分析方面,提出了基於動態圖的異常行為檢測模型,基於結構投影機理的稀疏子圖分解最佳化,以及特定結構的子圖檢測方法等;在數據處理方面,設計了面向流式圖的負載均衡技術、異步通信的分散式圖計算技術,以及基於分散式共享記憶體的參數伺服器等。本項目的研究為行為關聯發現面臨的異常隨機稀疏、群體隱含多變、突發檢測信息匱乏等科學難題提供了多種求解理論和算法,並在多項指標取得進展,例如增量式表征方法相比批量式方法計算效率提升30餘倍,極不均衡樣本表征在多分類任務上F1指標提升5倍等,研究有助於社交媒體大數據計算科學問題的持續探索。基於微博、貼吧等多源社交媒體數據,建立了突發事件檢測系統Ring,已匯聚數據100億條,200萬事件,並形成事件知識庫。項目在TKDE, WWW, IJCAI等發表論文35篇,獲1篇最佳論文和1名最佳論文提名獎,申請專利16項,作為重要成果分別獲2018電子學會技術發明一等獎(第1),2017國家技術進步二等獎(第5),培養研究生20名,課題組本碩學生在CCF大數據事件檢測,國際Kaggle欺詐檢測等競賽多次獲獎。項目技術及系統已在國家安全、社會治理、商業服務等領域套用,在國家網際網路應急中心,為31個省級分中心、21個地級市保障中心提供服務,在天津智慧黨建平台,建設津眼系統,實現民情民意實時感知和決策支持。

相關詞條

熱門詞條

聯絡我們