《注意選擇引導的人體運動分析和識別》是依託中國科學院大學，由卿來雲擔任項目負責人的面上項目。
基本介紹
- 中文名：注意選擇引導的人體運動分析和識別
- 項目類別：面上項目
- 項目負責人：卿來雲
- 依託單位：中國科學院大學
項目摘要,結題摘要,
項目摘要
人體運動分析是計算機視覺領域的研究熱點之一，但由於人體運動的複雜性和視頻數據標註困難的影響，人體運動分析仍是一個很有挑戰的問題。另一方面，生物視覺系統因其良好的注意選擇和採用多通道層級表示及相互協同，在運動分析上表現了顯著的優越性。本項目擬借鑑生物視覺系統的信息加工機制，研究：(1) 快速輪廓特徵和運動特徵提取及注意選擇建，提高視頻數據的處理速度；(2) 無監督或視點弱標註的學習，及其在運動物體部件檢測中的套用，為視頻數據的處理提供標註費用和學習效率的一個折中；(3)運動部件的時空關係學習，及其在人體運動識別和定位中的套用。項目預期發表一些高水平文章,並開發一個人體運動識別和定位原型系統,可用於智慧型視頻監控或人機互動。
結題摘要
視頻動作分析是計算機視覺領域的研究熱點之一，但由於動作的複雜性和視頻數據的龐大，從視頻中進行動作檢測和識別仍是一個很有挑戰的問題。課題組借鑑生物視覺系統的信息加工機制，對視頻顯著性建模、視頻特徵表示以及動作檢測和識別展開研究。（1）在視頻顯著性建模方面，空域顯著性基於空間距離加權對比，時域顯著性基於運動矢量並引入場景檢測機制，並建立時空顯著性融合計算模型，對空域顯著性和時域顯著性進行融合。（2）在視頻動作特徵表示方面，一方面對傳統特徵表示進行進一步探索，另一方面對三維卷積神經網路以及雙流網路融合時空信息在動作檢測和識別中進行驗證。對圖像局部塊的表示，提出了旋轉最大模式(Rotative Maximal Pattern, RMP)，編碼圖像局部塊的顏色和形狀特徵；對視頻中的運動部件的時域變化，提出了基於局部坐標編碼的流形學習進行編碼。（3）基於圖像級的弱標註，提出了基於基於聚類-分類疊代的判別部件檢測，並進一步根據動作的時域發展規律對部件進行提純。（4）在視頻動作檢測和識別方面，提出了基於三維卷積神經網路的時域區間回歸的動作檢測和識別，其中多尺度的三維卷積神經網路用於提取基礎特徵，網路通過多任務學習同時進行動作分類和時域區間回歸，實現動作檢測。整個框架可以端到端學習。（5）視頻動作預測方面，提出了基於動作自動補全(Activity auto-completion, AAC)和基於深度殘差學習的動作預測，實現在觀測到部分視頻時，就能實現識別動作類別。其中AAC類似檢索系統的查詢自動補全，觀測到的部分視頻可視為查詢前綴，全部視頻可視為全部查詢詞，系統採用排序學習學習二者之間的關聯。由於殘差學習更容易，進一步提出了基於深度殘差學習的動作預測，旨在學習觀測到的部分視頻的深度特徵到全部視頻深度特徵之間的變換。基於上述成果，課題組開發了一套視頻動作檢測、識別和預測系統。 以上相關研究成果發表16篇學術論文，其中6篇被SCI檢索。本課題共培養研究生8名。
