《基於時空流形學習與機率圖模型的人體動作識別》是依託電子科技大學,由程建擔任醒目負責人的青年科學基金項目。
基本介紹
- 中文名：基於時空流形學習與機率圖模型的人體動作識別
- 依託單位：電子科技大學
- 項目類別：青年科學基金項目
- 項目負責人：程建
項目摘要,結題摘要,
項目摘要
人體動作識別在智慧型人機互動、智慧型視頻監控、安防與反恐、輔助駕駛和增強現實等方面具有重要的研究意義。本項目主要研究人體動作時空信息的有效提取與描述、動作特徵降維與時空本徵結構提取、動作識別的時空分類器設計。針對人體目標的非剛體運動、外觀多變性和人體動作的高時空複雜性和長時空相關性，提出有效的解決方案：（1）將視覺跟蹤與改進的部分模板樹模型（PTTM）相結合，提出人體姿態剪影圖像序列的精確分割方法。以此為基礎，建立動作的基本時空單元提取和空域特徵構建的有效方法。（2）通過對空域流形學習的時空拓展研究，提出人體動作特徵降維與時空本徵結構提取方法，實現動作的低維時空本徵特徵提取。（3）提出基於時空流形嵌入與隱動態條件隨機場（LDCRF）的人體動作識別方法。以LDCRF模型構建動作識別的時空推理理論框架，將動作的時空本徵結構與LDCRF的時空推理機制有機結合，實現人體動作的有效識別。
結題摘要
人體動作識別一直是計算機視覺和模式識別領域的研究熱點，在學術研究與工程套用兩方面都具有極其重要的意義。其研究主要包括三個模組：人體動作時空信息提取與描述，人體動作時空特徵本徵結構提取和人體動作識別理論與方法。 人體動作時空信息提取與描述是人體動作識別的基礎，包括人體剪影序列的精確分割和人體動作的基本時空單元提取。本項目採用ViBe(Visual Background Extractor)算法以及基於隱式低秩近似的背景減除算法來實現人體剪影的提取；基本時空單元的提取，採用在空域引進典型關聯性分析（CCA）來改進DTW得到正則時間規整（CTW）方法實現。 人體動作時空特徵本徵結構提取是動作識別的關鍵，通過有效的特徵降維理論提取人體動作的本徵特徵，能顯著提高特徵的鑑別能力。針對人體目標的非剛體運動、外觀多變性和人體動作的高時空複雜性和長時空相關性等特點，將傳統的流形學習算法向時空域拓展，提取更具鑑別力的人體動作本徵時空特徵。我們創新性地提出了兩種新的時空流形學習算法，最大時空差異化嵌入（MSTDE）和有監督的t-分布隨機鄰域嵌入算法（S-tSNE和ST-tSNE）。局部流形學習算法MSTDE在局部保持投影（LPP）和局部時空判別嵌入（LSTDE）的啟發下，通過將類別標籤信息和時域信息有效地嵌入到LPP的框架中，重點關注那些外觀相似卻來自不同動作類的數據點，可充分利用人體動作的高時空複雜性和長時空相關性。全局流形學習算法ST-tSNE在t-分布隨機鄰域嵌入算法的基礎上引入類別標籤信息和時域信息，能有效提高數據的聚類效果和低維數據判別能力；針對外來數據的嵌入，結合局部保持投影（LPP）和局部線性嵌入（LLE）的思想提出了增量學習方法。 人體動作的識別理論與方法是人體動作識別研究的核心，針對人體動作的時空長相關性，以時空流形學習為基礎在本徵低維流形空間上探索基於機率圖模型的人體動作識別的理論框架。深入分析了條件隨機場（CRF）算法機理，探索了隱條件隨機場（HCRF）對人體動作序列建模。為了提高模型對動作序列時空信息的描述能力以及降低模型的訓練時間，引入了L1正則化的最佳化策略來稀疏模型中的邊以獲取人體動作序列圖模型本徵結構，包括L1稀疏和L1-Group稀疏。為了充分利用機率圖模型對特徵選取的自由性，提出採用局部特徵結合全局特徵的方式來提高模型對動作序列的描述能力。
