《基於深層特徵學習的RGB-D人體行為識別方法》是依託華中科技大學，由肖陽擔任項目負責人的青年科學基金項目。
基本介紹
- 中文名：基於深層特徵學習的RGB-D人體行為識別方法
- 項目類別：青年科學基金項目
- 項目負責人：肖陽
- 依託單位：華中科技大學
中文摘要,結題摘要,
中文摘要
人體行為識別是視頻理解領域中的熱點和難點問題之一。與單純基於RGB視頻識別人體行為相比，綜合利用RGB與深度（RGB-D）視覺信息可以更好地表征人體行為在三維空間中的運動與外觀特性，也是當前亟待研究的科學問題。本項目突破手工定義視覺特徵的理論框架，將深層卷積神經網路引入到RGB-D人體行為識別的任務中，以深層特徵學習的方式，獲取最有利於描述人體行為的特徵。重點研究如何設計合理的神經網路結構來避免對訓練樣本的過擬合，同時利用數據生成模型來增強特徵的描述能力。針對RGB-D人體行為訓練樣本量相對較少的問題，本項目提出利用遷移學習技術，將可大量獲取的RGB域樣本信息轉移到RGB-D域中。此外，本項目還將利用最新的運動物體快速檢測方法來改善人體行為運動信息的提取效果。無論是從RGB-D人體行為識別理論完善的角度，還是從視頻理解技術套用的角度來看，本項目都有重要的理論意義和廣泛的套用前景。
結題摘要
人體行為識別是視頻理解領域中的熱點和難點問題之一。與單純基於RGB視頻識別人體行為相比，綜合利用RGB與深度（RGB-D）視覺信息可以更好地表征人體行為在三維空間中的運動與外觀特性，也是當前亟待研究的科學問題。本項目的主要研究內容包括：（1）突破手工定義視覺特徵的理論框架，將深層卷積神經網路引入到RGB-D人體行為識別的任務中，獲取最有利於描述人體行為的特徵。重點研究如何設計合理的神經網路結構來避免對訓練樣本的過擬合，同時利用數據生成模型來增強特徵的描述能力；（2）針對RGB-D人體行為訓練樣本量相對較少的問題，提出利用遷移學習技術將可大量獲取的RGB域樣本信息轉移到RGB-D域中；（3）利用最新的運動物體快速檢測方法來改善人體行為運動信息的提取效果。本項目取得了一批具有較高學術水平的研究成果。發表IEEE Transactions期刊論文4篇，合計發表SCI論文11篇，會議論文3篇（CVPR論文1篇），獲得國家發明專利2項，申請5項。培養博士研究生2名，碩士研究生2名。代表性研究成果包括：（1）針對深度視頻，提出了一種基於多視角動態圖的人體行為識別方法，發表在中科院1區期刊Information Sciences上，其主要理論貢獻為：（a）將視頻動態圖的概念引入到深度視頻領域，能夠快速有效地抓取人體行為的外觀與運動特徵；（b）結合深度視頻的3D特性，提出了多視角動態圖的概念；（c）針對多視角動態圖的特點，提出了一種能夠有效避免過擬合的深度學習模型。（2）針對深度視頻，提出了一種人體墜床檢測識別方法，發表在中科院2區期刊IEEE Transactions on Automation Science and Engineering上，其主要理論貢獻為：（a）提出了一種有效且實時的人體檢測方法，其特點是在發生人物互動時依然能有效工作；（b）提出了一整套針對墜床檢測的軟硬體解決方案。（3）針對RGB視頻，提出了一種泛化目標檢測方案，發表在中科院2區期刊IEEE Transactions on Image Processing上，其主要理論貢獻為：（a）提出了目標基元的概念，可以有效抓取不同類型目標之間的共性特徵；（b）提出了一種基於緊緻度思想的目標性測度準則。
