《時空大數據流分散式異常事件檢測技術研究》是依託煙臺大學，由於彥偉擔任項目負責人的青年科學基金項目。
基本介紹
- 中文名：時空大數據流分散式異常事件檢測技術研究
- 項目類別：青年科學基金項目
- 項目負責人：於彥偉
- 依託單位：煙臺大學
項目摘要,結題摘要,
項目摘要
時空數據流異常檢測旨在從實時時空數據中找出嚴重偏離正常模式的移動對象，以發現海量數據流中隱藏的具有潛在危險性的行為模式，為分析者提供一種特殊的特徵分析視角。這對於安防監測、移動計算、軍事、位置服務、交通管理等急需有效管理海量移動對象方法的大型實時套用有著重要的實際意義。因此，本課題擬對時空大數據流環境下的異常檢測技術進行深入研究，通過對時空數據流套用下異常狀況分析建立系列異常事件模型；搭建基於Storm集群架構的分散式處理平台，設計面向時空大數據的數據分組機制；針對異常事件模型，分別設計高效的分散式並行檢測算法；針對複雜檢測問題，研究多查詢並發的共享執行策略；最後將研究成果集成到實際套用，實現互動可視化分析的評估平台，驗證異常模型和檢測算法的正確性和有效性。課題從異常事件建模入手，從分散式處理角度研究新的時空大數據流異常檢測技術，可為時空大數據流挖掘技術的進一步研究提供新思路和理論依據。
結題摘要
隨著大數據套用的普及，高效可擴展的數據流異常檢測在實時分析處理中扮演著越來越重要的角色。時空數據流異常檢測旨在從實時時空軌跡數據中找出嚴重偏離正常模式的移動對象，以發現海量軌跡大數據中隱藏的具有潛在危險性的行為模式，為分析者提供一種特殊的特徵分析視角。而基於時空聚類的軌跡模式挖掘方法則是另一類重要的時空異常檢測方法，可從時空聚類的視角，反向分析時空異常在軌跡聚類結果上的特徵。此外，時空大數據流的實時性、海量性、無限性、動態性等特徵也給數據流異常檢測問題帶來了前所未有的挑戰和要求。本課題面向時空軌跡大數據的分散式異常檢測與軌跡模式挖掘技術展開了深入研究。在基於鄰居的時空異常檢測模型方面，本課題提出了一類新穎的基於鄰居的軌跡數據流異常模型，考慮了不同的時空鄰居語義，可有效捕獲不同套用場景下的異常事件。在基於時空聚類的事件檢測方面，本課題完成了一系列高效的聚類算法設計和面向流式大數據的密度聚類研究，實現了時空數據流中的演化聚類分析。在分散式並行算法研究方面，本課題設計了一種面向時空大數據的分散式數據流系統中負載均衡的數據分發方法，完成了流式時空大數據分散式異常檢測框架的搭建。本課題還完成了基於聚類的時空軌跡群組模式的挖掘，並實現了分散式密度聚類算法和分散式時空軌跡模式挖掘的並行算法研究。在集成套用系統方面，本課題搭建了基於Storm的流式大數據分散式異常檢測系統和可視化的聚類分析集成系統。在大規模的真實軌跡數據上的評估結果驗證了所提異常模型的正確性和有效性。在實際分散式計算平台上，通過對海量時空軌跡數據的實驗評估，驗證了所設計的分散式算法的高效性和可擴展性。
