基於視頻的多人行為分析研究

《基於視頻的多人行為分析研究》是依託北京交通大學，由苗振江擔任項目負責人的面上項目。

基本介紹

• 中文名：基於視頻的多人行為分析研究
• 項目類別：面上項目
• 項目負責人：苗振江
• 依託單位：北京交通大學

項目摘要

行為識別是目前計算機視覺領域中的一大研究熱點，隨著各國對安防工作的日益重視，基於視頻的智慧型監控成為行為分析最重要的套用領域之一。目前，行為識別領域的研究成果大部分局限於單人，此外，目前研究的行為種類也比較有限，遠不能滿足智慧型監控的需要。為此，本項目將研究基於視頻的多人行為分析，對多人行為中運動模型的建立及多層次特徵的提取和套用做深入研究，旨在建立在一定條件下對不同人數都通用的運動模型，同時對用於安全的視頻監控中重點關注的多人行為給出有效的特徵提取方法。該行為分析的研究不同於舞蹈、體操等有明確規定的運動，視頻監控中關注的是自然的日常行為，這些行為（如打架）的運動方式、參加的人數等都經常帶有一定的隨機性，本項目將對這類視頻監控中關注的自然的多人行為做深入研究。

結題摘要

本項目研究了基於視頻的多人行為分析，對多人行為模型的建立及多層次特徵的提取重點研究，著重解決了多人互動行為的模型建立和特徵提取，具體完成情況和取得的相關成果如下： (1) 對複雜多人環境下行人跟蹤獲取軌跡特徵，提出了一種時空表觀模型和一種基於多元代價函式的方法； (2)對多人互動的特徵提取，提出了一種分層的、基於觀測向量分解的隱馬爾科夫模型，結合軌跡特徵和特徵點特徵，實現了多人行為分析中的特徵融合和特徵分類； (3)對多人互動行為分析，提出了一種耦合的基於觀測向量分解的隱馬爾科夫模型； (4)對連續行為識別，提出了一種基於機率累加的連續行為識別和分割的方法和一種生成式具有平移旋轉不變性的潛在語義模型(gTSI-pLSA)。 基於以上理論方法方面的研究內容，本項目共發表標有項目資助的SCI檢索期刊論文和重要國際會議論文30多篇（項目原計畫是15篇），其中在IEEE Trans-CSVT等SCI檢索期刊發表論文12篇（項目原計畫是3-5篇）。 面向套用方面，錄製了視頻監控環境下的多人互動行為，建立了多人行為資料庫，實現一個多人行為分析系統平台。項目期間，有10項相關發明專利（項目原計畫沒有發明專利計畫要求），其中有6項發明專利獲得授權，4項發明專利在審理中。 為檢驗我們研究成果的有效性，並與國際同行進行合理比較，在項目執行期間（2010-2012），項目組連續三年參加了由美國國家標準與技術研究院NIST組織的TRECVid2010、 TRECVid 2011、 TRECVid 2012人體行為事件分析檢測（Surveillance Event Detection, SED）國際比賽。其中，參加RECVid 2010的四項行為事件檢測，三項取得了第一名，參加TRECVID2011的兩項行為事件檢測，一項取得了第一名；參加TRECVID2012的兩項行為事件檢測，一項取得了第一名。參賽的該項比賽的主要機構包括：美國卡內基梅隆大學，法國INRIA，日本NHK，中國北京大學等。 另外，在項目研究期間，項目負責人作為大會程式委員會主席, 組織召開了國際會議The 3rd IET ICWMMN 2010，在本項目支持下，有3 名研究生畢業獲得博士學位，21 名研究生畢業獲得碩士學位，一名項目組骨幹成員由講師晉升為副教授。