《基於關鍵運動元檢測的連續人體動作識別》是依託香港城市大學深圳研究院，由李友福擔任項目負責人的面上項目。
基本介紹
- 中文名：基於關鍵運動元檢測的連續人體動作識別
- 項目類別：面上項目
- 項目負責人：李友福
- 依託單位：香港城市大學深圳研究院
項目摘要,結題摘要,
項目摘要
基於視覺的人體動作識別廣泛套用於視頻監控、人機互動和智慧型機器人等領域。現有的大多數相關研究假設已知每個動作片段的開始和結束，利用分類模型完成已分割的動作片段的識別。從一段連續的動作視頻中識別一系列動作類型是一個更接近實際, 更加挑戰的研究問題。為了模仿人類認知機制，即能從少數幾個關鍵的運動片段判斷出正在發生的動作類型，本課題擬將關鍵運動元檢測和隨機森林決策樹引入連續動作識別。首先，基於三維人體骨架信息我們提出一種有效和魯棒的運動元表示，該運動元表示描述了一個小的時間視窗內相鄰若干幀的運動信息。其次，利用顯著性挖掘從基於範例支持向量機運動元檢測子中選擇一組關鍵運動元檢測子集合，基於關鍵運動元檢測子集合在動作序列上的每個運動元上檢測得分，從而確定正在發生的關鍵運動元以及特徵編碼表示。最後，利用隨機森林樹決策樹對檢測到的關鍵運動元序列進行建模，實現連續動作序列的線上識別和分割。
結題摘要
基於視覺的連續人體動作識別是從一段連續的視頻中實時識別人體關鍵運動，從而預測正在發生的動作類型，是一個非常具有挑戰性的視覺問題。項目研究了人體三維動作的不變數描述模型，提出了基於剛體運動軌跡的人體動作時空不變數的描述模型，解決多視角和噪音環境下的動作描述和識別問題；提出條紋結構光相位與亮度結合的綜合最佳化方法提升結構光三維測量的質量，最佳化了感測測量過程中的離焦和最佳化問題，為視覺場景中的三維人體動作重建和測量提供理論支撐和技術支持。研究提出基於多尺度多模態融合深度網路的三維視覺場景中顯著性目標分析與檢測方法，為實現人體動作關鍵運動元檢測提供理論支撐和技術支持。提出基於線上的稀疏高斯過程回歸和平滑眼動識別的精確移動式視線跟蹤系統，為移動式視線跟蹤的靈活性和實時性方面提供了可行的方案，為實現視覺場景中的注意力識別和人體動作的關鍵運動挖掘提供技術支撐。綜合上述結果，本研究為探索人體連續動作的識別奠定了堅實的基礎，促進了動作識別領域中某些關鍵問題的解決。項目研究成果斐然，共發表高水平學術論文11篇，其中IEEE彙刊2篇，機器人頂級會議論文3篇，會議論文提名獎1篇；培養博士研究生3名，其中已畢業1名、在讀2名，碩士研究生1名；組織國內外專家來項目組作學術交流1人次，參加國內外學術會議5人次，特邀專題報告2次；項目投入經費16萬元，支出9.2125萬元，各項支出基本與預算相符，剩餘經費將用於本項目後續研究支出。
