《基於單目圖像序列與VSMM的人體運動分析》是依託西安電子科技大學，由韓紅擔任項目負責人的面上項目。
基本介紹
- 中文名：基於單目圖像序列與VSMM的人體運動分析
- 項目類別：面上項目
- 項目負責人：韓紅
- 依託單位：西安電子科技大學
中文摘要,結題摘要,
中文摘要
近年來，基於視頻圖像的人體三維運動分析成為計算機視覺和圖象學領域的一個研究熱點。本課題即從單目圖像序列出發，針對人體三維運動分析中的遮擋問題以及現有基於模型的跟蹤算法中在單一模型下人體跟蹤效果不好的缺點，首先在關鍵點自動定位的基礎上，建立基於Kalman濾波的漏檢點預測機制；接著將變結構多模型（VSMM）引入到三維人體運動跟蹤中，同時從三維人體運動的真實數據中學習到各關節的運動約束，以及用嶺回歸方法訓練出不同動作的多個運動模型，最後利用多模型估計器與遮擋預測構成的兩層框架來解決人體運動跟蹤問題。本研究成果在虛擬現實、三維動畫遊戲、高級人機互動、安全監控、視頻會議、醫療診斷、體育訓練、人體生物特徵識別以及基於內容的圖像存儲與檢索等方面具有廣泛的套用前景及潛在的經濟價值。
結題摘要
人體運動視覺分析在生物醫療套用、無人駕駛、人機互動和視頻存檔與檢索等方面都有廣泛的套用，從單目圖像序列中精確的恢復三維人體運動姿態意義重大。但是，由於人體形狀無限可變性、自由度龐大、局部最小值、遮擋和特徵點定位歧義性等問題，人體運動跟蹤是非常具有挑戰性的研究課題。近幾年，基於視頻的人體運動分析的方法主要分為兩大類：基於模型的人體運動跟蹤和基於學習的人體運動跟蹤。基於模型的方法都有明確參數的人體模型，大部分都是使用確定性或者隨機性的最佳化方法，在高維的狀態空間中搜尋最優的狀態；基於學習的方法需要提取精確的圖像特徵，學習圖像特徵與運動捕捉數據之間的映射，使用該映射恢復人體運動姿態。本項目汲取兩種方法的優勢，將變結構多模型的方法引入到人體運動分析中，一方面，利用基於模型方法大框架，建立人體骨架模型，另一方面，使用運動捕捉數據直接訓練運動模型指導人體運動跟蹤，增加運動跟蹤的精確性，使跟蹤結果更加符合人體運動規律。本項目主要完成了下列工作：1. 改進人體關節點的檢測算法。本項目在人體關節點檢測算法中加入粒子濾波機制和肢節長度信息，當四肢在視角內做前後擺動的情況時也能夠準確的檢測到人體的關節點位置，在發生遮擋時，改進的檢測方法優勢更加明顯。2. 提出了一種基於模型群跳轉-變結構多模型（MGS-VSMM）的人體運動跟蹤方法。根據總運動模型集中所有模型的拓撲關係和轉移機率，對總模型集進行分組，並根據人體肢節的投影角度變化設計運動模型群之間的跳轉規則，使用與當前人體運動模式匹配最好的運動模型群組指導人體運動跟蹤，使得跟蹤結果更加符合人體運動規律。3. 提出了一種基於可能模型集-變結構多模型（LMS-VSMM）的人體運動跟蹤方法。不對總運動模型集進行分組，設計更加精細的模型跳轉規則，每一時刻只使用與當前運動模式最匹配的一個或者兩個運動模型，在不降低跟蹤精確度的情況下，大大降低運行時間。 除了完成了原計畫書中的研究內容以外，通過跟蹤調研國際上的人體運動視覺分析的最新趨勢和動態，同時對原計畫書中的研究內容做了必要的擴展研究，如提出了基於稀疏幾何流的圖像描述子，並開展了在人體運動視覺分析中的套用研究，如人體檢測，人體運動跟蹤，動作識別等，取得了良好的效果。再者，隨著機器學習的進一步發展，深度學習已經成為最主要的趨勢，我們相應地開展了深度特徵學習方法的研究，目前進展順利，並取得了一些初步成果。
