《多源視頻融合表征的異常事件檢測算法研究》是依託上海交通大學，由蔣興浩擔任項目負責人的面上項目。
基本介紹
- 中文名：多源視頻融合表征的異常事件檢測算法研究
- 項目類別：面上項目
- 項目負責人：蔣興浩
- 依託單位：上海交通大學
項目摘要,結題摘要,
項目摘要
大範圍高密度高清視頻監控體系在平安城市建設中發揮著重要支撐作用，在重要公共區域和無人值守環境等的視頻監控套用中,對異常行為和異常事件的自動準確檢測與快速告警能力成為迫切套用需求和技術難點。基於視頻內容的事件智慧型理解技術,屬視頻智慧型分析與信息安全領域的套用基礎研究。課題針對視頻內容信息結構化表征困難，來自多源的視頻數據難以有效關聯和融合分析利用的問題，開展基於多源視頻特徵融合表征的異常事件檢測算法研究工作。課題提出基於分層辭彙模型構建視頻語義結構化表征的方法，以及基於宏摘要結構的多源視頻融合表征方法；並在此基礎上，結合特定的套用場景分別提出基於分層辭彙語義的個體行為異常事件檢測方法、基於深度學習模型的群體行為異常事件檢測方法、以及基於海量視頻融合表征的大數據分析異常事件檢測方法等。研究成果對城市城市公共安全、社會反恐、災害監測、海量視頻事件分析與關聯挖掘等套用具有重要的社會意義。
結題摘要
本課題屬於信息內容安全領域範疇，隨著智慧城市計畫的實施，城市中的監控攝像數量日益增多，人力已經遠遠不能滿足對監控畫面的分析需求。目前的監控攝像往往被用於事後取證，在犯罪、暴力等異常事件發生時不能及時報警和及時救援。由於異常事件智慧型分析領域理論體系不完善，檢測算法受到人行為的多樣性、環境的複雜性干擾較大等因素，還需要對該領域進行進一步研究。本課題圍繞多源視頻融合表征的異常事件檢測算法展開深入研究。針對不同特點的視頻內容做出了一系列理論和實踐層面的工作，工作具有研究價值和經濟價值。 本課題首次提出了將單人動作識別、群體異常檢測、人物身份識別技術融合的異常事件檢測思想，以及將視頻的空間RGB信息、時間光流運動信息、人體骨骼信息融合對視頻內容進行表征的異常事件檢測方法。將異常事件檢測分解為從單人行為、群體行為、身份識別三個層次來共同檢測，一方面可以根據單人和群體的行為共同判斷時間，減少誤報，另一方面可以將事件和行為人的身份關聯起來，及時追查和報警。在事件表征方法上，利用空間上紋理、輪廓、骨骼姿勢等靜態信息，和時間上軌跡、光流、殘差等動態信息融合的方式訓練異常事件檢測模型，提高了模型的表征能力，使模型判斷更加準確。 本課題在多種公開資料庫上進行驗證。單人動作資料庫中Weizmann準確率達到99.1%、KTH準確率達到95.8%、MSRAction3D達到95.11%、UTKinect-Action達到98.83%、Florence3DAction達到93.79%。異常行為資料庫UCSD Ped1中AUC達到95.1%、UCSD Ped2中AUC達到90.8%。身份識別資料庫CASIA-B中達到96.53%。本課題豐富了異常檢測算法類型，提高了識別準確率，取得了重要的研究成果。 該研究成果可以套用在公共安防智慧型檢測犯罪行為，也可以套用在學校、建築工地、核電站、監獄等場景，對發生的違規行為進行智慧型報警，具有廣闊的套用前景。綜上所述，本課題的科學意義在於利用多源融合方法提高異常事件檢測準確率，提高了行為、事件、身份的關聯性，豐富了異常事件智慧型檢測方法理論。研究具有良好的理論研究價值、社會價值和經濟價值。
