《視頻中互動行為的自動分析與理解》是依託北京理工大學，由裴明濤擔任項目負責人的青年科學基金項目。
基本介紹
- 中文名：視頻中互動行為的自動分析與理解
- 依託單位：北京理工大學
- 項目負責人：裴明濤
- 項目類別：青年科學基金項目
項目摘要,結題摘要,
項目摘要
互動行為的分析與理解由於其在智慧型監控，智慧型人機互動等領域有著廣泛的套用前景，成為計算機視覺領域備受關注的前沿方向之一。目前的互動行為分析與理解方法存在三個問題有待解決: 一是行為模型多是人工指定，不能準確反映互動行為的內在特徵；二是現有的行為分析方法多是針對底層動作或高層行為進行分析，沒有將動作，行為以及場景理解進行有機的結合；三是目前還沒有一個標準的互動行為數據集。針對以上問題，本課題主要研究：（1）互動動作與行為的模型表示與學習方法，研究通過機器學習的方法從視頻中自動的學習互動動作與互動行為模型，使得計算機可以通過觀察視頻從而理解視頻；（2）互動行為的統計解析方法，研究如何保留行為分析各個階段的不確定性，得到具有最大後驗機率的包含動作識別，物體識別以及行為識別的行為分析結果。（3）建立並發布互動行為數據集。本課題的研究成果將會對視頻中互動行為的分析與理解有著重要的促進作用。
結題摘要
互動行為的分析與理解由於其在智慧型監控，智慧型人機互動等領域有著廣泛的套用前景，成為計算機視覺領域備受關注的前沿方向之一。目前的互動行為分析與理解方法存在三個問題有待解決: 一是行為模型多是人工指定，不能準確反映互動行為的內在特徵；二是現有的行為分析方法多是針對底層動作或高層行為進行分析，沒有將動作，行為以及場景理解進行有機的結合；三是目前還沒有一個標準的互動行為數據集。針對以上問題，本課題主要研究：（1）互動動作與行為的模型表示與學習方法，研究通過機器學習的方法從視頻中自動的學習互動動作與互動行為模型，使得計算機可以通過觀察視頻從而理解視頻；（2）互動行為的統計解析方法，研究如何保留行為分析各個階段的不確定性，得到具有最大後驗機率的包含動作識別，物體識別和行為識別的行為分析結果。（3）建立並發布互動行為數據集。 本課題的主要研究成果如下： （1）使用與或圖作為互動行為的模型，在信息投影和最小描述距離準則的框架之下進行互動行為與或圖的學習，可從訓練數據中自動的得到互動行為的與或圖模型的結構及參數，從而可以準確的反映互動行為的內在特徵； （2）基於互動行為的與或圖模型，提出了基於統計解析的互動行為分析與識別方法，可以識別出視頻中每一時刻所發生的動作、所涉及到的行為以及動作中涉及到的物體等信息； （3）提出了基於環境上下文信息的行為識別方法，將行為所涉及到的所有環境上下文信息結合在一個統一的機率框架之下，將行為所涉及到的各種上下文信息統一表達為行為的能量函式，通過最小化能量得到最終的行為識別結果； （4）進行了視頻中行人的跟蹤方法研究，採用基於錨點的半監督學習方法學習行人的表觀模型，可以得到準確的行人跟蹤結果，為進行互動行為分析提供基礎數據； （5）建立了互動行為數據集。 本課題的研究成果將會對視頻中互動行為的分析與理解有著重要的促進作用。
