重現的行人目標數據關聯和深度跟蹤理論及方法研究

《重現的行人目標數據關聯和深度跟蹤理論及方法研究》是依託清華大學，由王生進擔任項目負責人的面上項目。

基本介紹

• 中文名：重現的行人目標數據關聯和深度跟蹤理論及方法研究
• 依託單位：清華大學
• 項目負責人：王生進
• 項目類別：面上項目

項目摘要

行人目標是視頻監控中最為重要的信息。我們已初步實現了單攝像頭行人目標的跟蹤。多攝像頭間的行人跟蹤已顯現出重要的研究意義。針對目標跨越多個攝像頭的無重疊視野下的連續跟蹤、或行人目標被長時間遮擋後再出現等實際套用面臨的問題，本課題致力於研究重現的行人目標跟蹤理論、方法和關鍵技術，以實現對行人目標在跨越無重疊視野、消失後再現時的持續跟蹤。由於目標在運動中自身會發生一定的姿態變化，以及不同場景下光照條件變化等因素，通常會導致再現目標的圖像觀測隨時間和空間變化，產生圖像觀測之間的差異。我們將採用線上學習目標鑑別特徵的方法，線上更新目標的特徵描述模型，利用線上學習獲得行人表觀特徵描述模型進行目標識別和跟蹤。針對無重疊視域下的多攝像頭間的目標數據關聯問題，將在行人表觀特徵描述模型的基礎上，融合行人運動的位置及方向等拓撲信息，估計目標出現在各視野圖像中的機率，融合識別置信度和出現機率，實現目標連續跟蹤。

結題摘要

視頻圖像中目標的檢測與跟蹤是計算機視覺中一個非常關鍵和重要的問題，具有非常廣闊的套用前景。在智慧型監控系統中，希望計算機能夠自動地從多個攝像頭所獲取的視頻圖像中檢測到行人，並且能夠穩定、連續地跟蹤該行人目標，獲取行走軌跡等信息。跨視域重現行人目標識別與持續跟蹤是計算機視覺和模式識別領域的前沿研究課題，具有重要的研究價值。 我們的項目就是針對上述問題，深入研究了行人鑑別特徵提取與目標匹配、線上特徵學習、以及人形表象數據關聯的方法，以達到在非重疊多攝像機系統下對目標持續跟蹤，獲取行跡信息的目的。本項目包含四個關鍵技術。一是行人目標的特徵描述建模和鑑別特徵提取，此部分又分為離線的和線上的兩個階段，第一階段，完成離線目標鑑別特徵提取和基於統計學習的分類器訓練，得到行人檢測器，提出基於多顏色特徵融合的詞袋模型（BOEC），有效地對視角變化的行人進行表觀描述和匹配；第二階段，解決目標線上特徵提取和建模問題，利用基於混合高斯模型的背景建模得到人形前景部分，提取目標人形前景區域的表觀特徵來構建目標的描述模型，之後線上學習並更新目標的特徵描述模型，以適應跨視域場景中目標形態的變化。二是基於貝葉斯學習理論的線上小樣本統計學習的跟蹤方法，實現了基於目標分類器和自適應粒子濾波的運動目標跟蹤算法，在單攝像頭下跟蹤選中的特定目標。三是對多攝像機拓撲結構關係建模，由標定信息獲得投影矩陣和不同攝像機間的位置關係，將各視域投影到同一俯視平面內，得到連線關係及距離信息，然後構建攝像機連線關係圖模型。四是重現的行人目標的數據關聯和匹配方法，利用目標當前所在位置與攝像機關係圖模型計算目標之後在不同攝像頭中出現的機率，同時計算待確定行人同目標表觀模型間的匹配置信度，融合目標的出現機率，實現人物目標的對應，獲得感興趣目標的行跡。最後，我們實現了一個特定目標的跨視域跟蹤原型系統，系統中包含背景建模、運動目標提取、行人檢測、單鏡頭下目標跟蹤、行人表觀特徵提取、線上模型更新與匹配、目標位置預測等模組，可以在多角度非重疊攝像機下對人為選定的特定行人目標進行持續跟蹤。