《單目視覺共享動態隱變數人體姿態分析的研究》是依託上海電力大學，由仝明磊擔任項目負責人的青年科學基金項目。
基本介紹
- 中文名：單目視覺共享動態隱變數人體姿態分析的研究
- 項目類別：青年科學基金項目
- 項目負責人：仝明磊
- 依託單位：上海電力大學
項目摘要,結題摘要,
項目摘要
可視媒體具有同步、動態觀測以及低成本的優勢，已逐漸成為分析人類行為以及輔助人類認知的重要途徑，其中利用單目視覺技術進行三維人體姿態分析的研究在自然人機互動遊戲以及安全監控方面具有重要的理論意義和廣泛的套用前景。本項目將探討高自由度人體姿態空間與圖像觀測空間同時映射到低維隱空間進行跟蹤的科學機制，研究圍繞以下幾個方面展開：1）研究高斯過程共享動態隱變數模型的理論與方法，利用該模型推導人體低維多模型狀態方程以及觀測方程；2）在低維空間採用智慧型多模型方法估計低維狀態，利用高斯過程的可逆性重建高維狀態；3）採用壓縮感知原理將人體圖像組合特徵稀疏編碼輸出觀測向量。本項目旨在尋求一種新的隱變數模型以降低直接姿勢估計的複雜度；採用智慧型多模型方法提高人體姿態估計的準確性；研究新的稀疏編碼算法減少自遮擋、空洞以及缺損噪聲的影響。項目的成功實施將有助於促進單目視覺人體姿勢分析在遊戲製作等相關方面的廣泛套用。
結題摘要
基於視覺的三維人體姿態分析在智慧型視頻監控、智慧型人機接口、虛擬現實、遊戲製作以及體育運動分析及健康評價方面有著廣泛的套用前景和潛在的經濟價值。例如，通過對人的運動分析，識別出其危險動作，輸出的結果對公共安全部門十分重要；語音接口大大簡化了人機對話，而視覺信息（如手勢、頭部姿態和表情等）也可以作為語音識別和自然語言理解的有效補充；為了在虛擬空間中產生生動逼真的人物動作，先用視覺方法對物理世界中的人體運動進行分析，獲取人體模型、人體姿態以及運動參數，最後將這些數據合成動畫或遊戲；運動員訓練中可以用視覺技術分析視頻序列中肢體運動軌跡，找出技戰術缺陷。 基於學習的方法需要提取精確的圖像特徵，學習圖像特徵與運動捕捉數據之間的映射，使用該映射恢復人體運動姿態；基於模型的方法都有明確參數的人體模型，大部分都是使用確定性或者隨機性的最佳化方法，在高維的狀態空間中搜尋最優的狀態。 本項目利用兩種方法的優點，將共享隱變數模型的方法引入到人體運動分析中，一方面，利用基於模型方法大框架，建立人體骨架模型，另一方面，使用運動捕捉數據直接訓練運動模型指導人體運動跟蹤，增加運動跟蹤的精確性，使跟蹤結果更加符合人體運動規律。本項目主要完成了下列工作： 1. 以高斯過程隱變數模型為基礎，針對狀態方程、觀測方程以及低維隱變數動態方程中的參數同時進行邊緣化積分輸出一個最小化的目標函式，從該目標函式出發，研究共享動態隱變數模型的解析表達；採用主分量分析（PCA）方法計算出高維狀態和觀測向量的線性子空間，並將其作為共享動態隱變數的初始解。 2. 提出了一種基於變結構多模型（VSMM）的人體運動估計方法。根據總運動模型中所有模型的轉移機率，對模型集進行分組，並根據人體肢節的投影角度變化設計運動模型群之間的跳轉規則，使用與當前人體運動模式匹配最好的運動模型群組指導人體運動跟蹤，使得跟蹤結果更加符合人體運動規律。 3. 從人體區域中提取圖像特徵上下文描述子（Shape Context）並進行特徵的稀疏編碼；提出了基於稀疏幾何流的圖像描述子，最後輸出為觀測向量。 除了完成了原計畫書中的研究內容以外，通過跟蹤調研國際上的人體運動視覺分析的最新趨勢和動態，同時對原計畫書中的研究內容做了必要的擴展研究，如提出了基於稀疏幾何流的圖像描述子，並開展了在人體運動視覺分析中的套用研究，如基於視覺的跟蹤，人臉識別，圖像安全
