《人群活動理解中基於時空共現模型的互動動作識別研究》是依託電子科技大學,由姬艷麗擔任醒目負責人的青年科學基金項目。
基本介紹
- 中文名：人群活動理解中基於時空共現模型的互動動作識別研究
- 依託單位：電子科技大學
- 項目類別：青年科學基金項目
- 項目負責人：姬艷麗
項目摘要,結題摘要,
項目摘要
隨著多媒體信息智慧型化發展，以多人參與的群活動為主題的視頻理解在視頻監控、視頻檢索和人機互動等領域的需求越來越廣泛。而面對群活動中多人互動的複雜場景， 現有的單人活動檢測、跟蹤、識別等算法已無法滿足群活動理解的需要。本項目研究結合人機互動技術通過對複雜的群活動中互動動作進行準確識別，實現對群活動的分析理解。研究內容主要包括：(1)群活動環境下人-人、人-群連線關係分析（Link Analysis）研究，採用視線估計和移動軌跡跟蹤等方法，劃分互動動作子群；(2)多人互動動作識別算法研究，結合傳統識別算法和眼動跟蹤等人機互動技術提取互動動作中的關鍵動作特徵，建立時空共現 (Co-occurrence) 模型實現互動動作識別；(3)基於群活動連線關係和互動動作識別結果，實現群活動高層語意理解。本項目成果將促進群活動理解表達、建模及計算模型的發展，並在人機互動、視頻監控等方面得到廣泛套用。
結題摘要
隨著多媒體信息智慧型化發展，以多人參與的群活動為主題的視頻理解在視頻監控、視頻檢索和人機互動等領域的需求越來越廣泛。本項目研究結合人機互動技術通過對複雜的群活動中互動動作進行準確識別，實現對群活動的分析理解，並套用於智慧型人機互動系統。首先，圍繞人群活動識別研究主題，首先進行實驗數據採集，採集自然場景中人與人互動群活動視頻數據，建成一個包含RGB數據、深度信息和人體骨骼信息的多源數據行為互動資料庫，CR-UESTC互動資料庫。CR-UESTC互動資料庫包括250個視頻，約2.5萬幀數據。該資料庫已經於2014年公開，免費供研究使用，是當時人與人互動行為活動類別最多的資料庫。其次，基於人體骨骼信息提出了採用身體部件對來描述人體互動活動特徵描述方法，並提出對比特徵分布模型（CFDM）和模式轉換圖等方法解決人-人互動和人-機器人互動中行為的準確識別等問題。基於人體骨骼信息的對比特徵分布模型（CFDM）和模式轉換圖方法在CR-UESTC 和 SBU互動資料庫上面進行驗證，實驗結果表明CFDM算法識別效果遠遠好於普通的對比模型（CM）和傳統BoW算法，比其他方法在CR-UESTC資料庫識別率提高5%，在SBU資料庫提高約4%。該研究內容已發表在國際會議2014ICME和SCI期刊JVCIR. 再次，因為人體動作的理解涉及複雜多路信息，針對視頻中的互動行為活動，提出一種基於多路信息融合的兩層識別算法用於視覺行為識別。基於多路信息融合的兩層識別算法在CCV和UCF-101兩個公共資料庫上驗證效果。實驗結果顯示場景信息和人體動作信息對行為理解貢獻較大，並且採用信息融合方式進行行為識別的結果比單類信息得到的準確率高約3%-12%。與現有工作比較，該方法在CCV和UCF-101資料庫均得到較好的實驗驗證結果。該工作已發表在2016 ACCV國際會議，並進一步整理提交國際期刊。最後，圍繞人機互動在實際生活中的套用，建立人機互動系統，搭建互動平台，實現能夠實際套用的人機互動功能。該部分研究主要從手勢軌跡識別、人視線估計和手姿態估計等方面展開研究。採用Kinect感測器搭建了系統平台，用於機器人抓取等人機互動研究。該部分研究已申請發明專利13項。該項目研究內容及成果將在後續研究中進一步深入，並套用於服務機器人場景中實現智慧型、自然流暢的人機互動功能。
