《基於視覺+運動詞典的視頻事件檢測研究》是依託華東師範大學，由王峰擔任項目負責人的青年科學基金項目。
基本介紹
- 中文名：基於視覺+運動詞典的視頻事件檢測研究
- 項目類別：青年科學基金項目
- 項目負責人：王峰
- 依託單位：華東師範大學
項目摘要,結題摘要,
項目摘要
近年來網路視頻的迅速發展,尤其是三網融合工程的試點與推進,給視頻搜尋與內容安全監管技術帶來巨大商機與挑戰。目前基於文本的視頻檢索、安全監測技術的局限性越來越明顯,而對基於內容的視頻分析技術的需求日益緊迫。事件檢測對理解視頻內容起著關鍵作用,當前的研究大多偏重於對視頻靜態特徵的分析,對動態事件的研究還很薄弱。本項目擬從特徵提取方面入手,研究大規模視頻中事件檢測的相關技術，提高事件檢測的準確率與效率，主要研究內容如下:(1)研究視頻中動態特徵,主要是對物體運動軌跡進行分析與建模;(2)研究動態與靜態特徵的結合,以提取更加有效的特徵完整描述視頻事件;(3)研究事件參與者之間的相互作用，同時消除視頻中攝像機運動所帶來的影響;(4)研究特徵選擇等方法,從大量信息中提取對相應事件描述最有效的信息，提高事件檢測的時間、空間效率及準確率，滿足大規模視頻分析的要求。
結題摘要
視頻事件檢測是近年來多媒體領域的一個主要研究熱點，對於視頻內容的自動理解、基於內容的視頻檢索以及網路視頻內容安全監管等方面起至關重要的作用。本項目對視頻事件檢測方法進行了重點研究，主要包括視頻動態特徵和語義特徵的提取。 對視頻動態特徵的提取，我們主要研究和提出了兩種新方法。首先，通過對視頻中關鍵點的運動軌跡進行跟蹤和聚類，建立運動詞典用於描述視頻中物體的運動特徵。同時，結合運動詞典和視覺詞典，綜合描述視頻靜態和動態信息，實現對視頻事件的檢測。其次，利用運動相對性，通過計算特徵點之間的相對運動，用於描述不同物體/背景之間的相互作用，同時消除攝像機運動對運動估計的影響。 在動態特徵基礎上，我們進一步研究了語義特徵對視頻事件檢測的作用，通過檢測視頻中的各種語義概念，形成一個語義向量，描述視頻內容。為提高視頻語義檢測準確率，我們對傳統視覺詞袋特徵進行了改進。一方面，利用漢明嵌入，解決視覺詞袋特徵中的信息丟失問題；另一方面，按照其對特定概念的重要性，為不同視覺單詞分配不同權重，更好的突出重要單詞在語義檢測中的作用。實驗結果表明，我們提出的方法相對現有方法，對視頻語義檢測平均準確率提高了超過20%。 通過大量實驗以及權威技術評測，我們所提出的方法大大提高了視頻事件檢測準確率。其中，項目組參加2012年TRECVID視頻事件檢測任務，在30餘參賽單位中取得第一名的好成績。
