《基於產生式模型的人體行為識別與檢測一體化方法研究》是依託廈門大學，由李紹滋擔任項目負責人的面上項目。
基本介紹
- 中文名：基於產生式模型的人體行為識別與檢測一體化方法研究
- 項目類別：面上項目
- 項目負責人：李紹滋
- 依託單位：廈門大學
項目摘要,結題摘要,
項目摘要
人體行為檢測旨在指出長視頻序列中發生的人體行為的類型、起始時間和地點，包括行為的識別和定位，是比人體行為識別更具挑戰性的計算機視覺前沿研究方向。目前大部分研究中行為識別和檢測主要基於判別式模型，通常只能給出確定性的結果，不能滿足行為預測結果的靈活性和多樣性，也無法解決行為樣本層出不窮和模型更新問題。因此，本課題開展基於產生式模型的人體行為識別和檢測一體化方法研究。主要內容包括：基於注意機制的候選目標區域篩選方法；部分遮擋情況下的基於隨機回歸森林的魯棒人體三維姿態估計；行為的視角不變性特徵設計；行為識別和檢測的LDA產生式模型。本項目有望解決人體行為檢測研究中存在的上述問題，豐富深度攝像機下的人體行為檢測的理論和算法，為計算機視覺的發展提供理論和技術支持。
結題摘要
人體行為檢測旨在指出長視頻序列中發生的人體行為的類型、起始時間和地點，包括行為的識別和定位，是比人體行為識別更具挑戰性的計算機視覺前沿研究方向。項目在系統總結國內外已有相關研究成果的基礎上，對行為識別技術的研究現狀，進行了分析總結，並開展了以下四方面的研究工作。（1）基於深度學習的前景目標顯著性與檢測方法：針對如何快速準確的檢測與定點陣圖像與視頻數據中起重要作用的前景目標，提出了一種基於深度學習的多特徵融合的視覺顯著性檢測算法和一種基於多特徵重排序的目標檢測算法。（2）基於人體關節點的行為識別方法：針對目前人體行為識別存在的特徵維度高、計算複雜度高、缺乏語義解釋，提出了基於部位判別力聚類的元動作的人體行為表示方法；基於特徵分類熵的多元特徵選擇方法的人體識別行為算法。（3）基於深度學習的行為識別方法研究：針對深度卷積神經網路在針對不定長視頻的特徵採樣、訓練時容易出現過擬合現象、行為動作時序關係的表述，提出了一種以固定步長採樣視頻幀和分層池化的基於深度卷積神經網路的行為識別算法，雙支路全卷積神經網路的行為識別算法，基於遞歸神經網路的行為識別算法，基於類殘差循環神經網路行為識別方法。（4）多源多標記學習算法研究：針對多標記數據的特徵表征具有不同來源、特徵的維度通常很大、冗餘的難題，提出一種面向多數據源的多標記學習框架MLSO和一種流形正則性約束的嵌入式多標記特徵選擇方法MDFS。 在多個相關基準資料庫上的相關實驗結果顯示，本項目研究構建的相關算法性能可以達到當前學術界的先進水平。同時，本項目的相關研究在一定程度上解決了人體行為識別與檢測研究中存在的上述問題，豐富計算機視覺與機器學習在相關領域的理論和提供技術支持。
