《基於視覺的多人互動行為分析》是依託北京理工大學，由梁瑋擔任項目負責人的青年科學基金項目。
基本介紹
- 中文名：基於視覺的多人互動行為分析
- 依託單位：北京理工大學
- 項目負責人：梁瑋
- 項目類別：青年科學基金項目
項目摘要,結題摘要,
項目摘要
多人互動行為分析在智慧型監控、視頻檢索及虛擬現實等方面有著廣泛的套用前景，是目前計算機視覺及模式識別領域的研究熱點之一。本項目採用計算機視覺的方法圍繞多人互動行為分析的關鍵問題展開研究，包括：互動行為分析的計算框架、表征互動行為的特徵的提取與描述、連續原子行為識別、互動行為建模。我們建立引入反饋機制的分層計算框架，該框架通過高層語義反饋提高特徵表達的可靠性，增強原子行為識別的準確性從而提高多人互動行為分析的性能；提出基於RGBD(顏色+視差)信息的多人體魯棒跟蹤方法；研究局部時空興趣點及基元的特徵描述方法以更好的表達多人互動行為；採用判別式模型識別連續單人原子運動；最後提出嵌入多個子事件時序關係的隨機上下文無關文法建模多人互動行為的方法，並以最小描述長度準則和最大互信息準則自動學習事件的新規則。本項目對互動行為分析的理論發展與套用具有重要的科學意義。
結題摘要
多人互動行為分析與理解是計算機視覺和模式識別領域的熱點問題，在智慧型監控、視頻分析、虛擬現實等領域有著廣泛的套用。本項目採用計算機視覺的方法圍繞多人互動行為分析的關鍵問題展開研究，包括：人體跟蹤、表征互動行為的特徵提取、連續原子行為識別、互動行為建模。(1)我們提出了基於語義知識反饋的三維人體姿態估計框架，利用人體運動的高層語義知識自上而下的對人體姿態估計進行指導，減少了單目圖像三維姿態估計的多義性和不確定性。(2)我們提出一種層級潛變數空間中的單人行為識別方法，它基於人體自身的生理學結構，構建人體運動的層級潛變數空間，並在該空間中採用聚類技術提取各個人體部分的運動模式。(3)我們研究基於時空興趣單的動作識別方法，提出了時空興趣點的多尺度時空分布詞袋模型。該模型子視頻中不同時空尺度的局部區域內，對興趣點的時空分布信息進行建模，從多個層次描述了興趣點之間的時空上下文關係。同時利用時空興趣點的表觀詞袋模型對興趣點的表觀信息進行建模。(4)我們提出了一種基於動作關係描述子“互動短語”的互動動作識別方法。互動短語是對互動動作的語義描述子，表達了互動雙方之間的運動關係。互動短語從多個角度對互動動作進行刻畫，而且還提供了較動作上下文更加豐富的上下文信息——短語上下文信息，我們提出的方法將互動短語作為中層特徵，幫助跨越底層特徵和高層語義之間的語義鴻溝，提高識別準確率。
