多目標跟蹤中的注意模型研究

《多目標跟蹤中的注意模型研究》是依託北京交通大學，由鄒琪擔任項目負責人的面上項目。

基本介紹

• 中文名：多目標跟蹤中的注意模型研究
• 項目類別：面上項目
• 項目負責人：鄒琪
• 依託單位：北京交通大學

項目摘要

人類視覺如何在被跟蹤的多個目標中分配注意，一直是認知和神經科學非常關注的問題。它既具有自底向上和自頂向下注意的共性，還體現了多目標跟蹤的特性。借鑑人類視覺在多目標跟蹤中注意機理，利用視頻跟蹤中的眼動的研究成果，研究複雜動態環境的注意模型。一方面，我們從動態變化的場景中學習到空間布局等場景上下文；也將學習目標有區分度的表觀特徵和高階運動模型，用於形成對場景和特定任務的有效表達。將學習到的先驗作為知識和熟悉性，推廣到未曾學習過的、新出現的目標。另一方面，借鑑多目標跟蹤的注意理論，通過時空組織形成目標組，利用線上隨機森林學習目標與任務的相關性，構建多目標跟蹤的自頂向下注意模型。將所構建的注意模型套用在基於高階運動量和多維數據關聯的多目標跟蹤中，解決遮擋和場景動態變化的干擾，實現魯棒的跟蹤。預計這一成果將縮小跟蹤計算模型與人類視覺跟蹤之間的鴻溝，加深我們對自頂向下注意的理解

結題摘要

本項目研究多目標跟蹤和其中的注意模型，該問題不僅涉及到計算機視覺特徵分析和神經科學的資源分配問題，而且涉及到高層運動理解，具有重要理論意義，在視頻監控、無人駕駛和新一代人機互動中有廣泛的套用前景。本項目圍繞複雜動態環境下多目標跟蹤任務的建模與描述方法，主要從四個方面展開了研究，包括場景上下文的有效表達，動態場景中的眼動注視點分布，目標的多層次描述、高階運動模型和數據關聯，以及基於目標的注意模型。通過目標跟蹤的典型套用驗證提出方法的性能，展示所構建的注意模型、場景動態建模方法的優越性。本課題共發表論文20篇，SCI收錄論文7篇，包括IEEE Trans.期刊論文2篇。在計算機視覺領域的頂會、CCF A類會議上發表論文2篇，大會宣讀論文1篇，張貼海報論文1篇。在複雜場景的多目標跟蹤方面，提出了基於時間序列的圖模型建模方法，聯合最佳化部件分組和跟蹤，利用鄰域目標的空間拓撲關係構建魯棒的動態場景上下文描述，所建的夜間車輛跟蹤系統在雨天、高速、密集車流等多種場景中都能實現準確的跟蹤。在目標的多層次描述和高階運動模型方面，提出了一個新的高效的視頻多目標跟蹤框架。該框架摒棄了以增加網路結構複雜度來提高精度的思路，而是採用一種淺層卷積神經網路來提取目標外觀特徵，同時結合目標間的相互動作關係和目標自身的運動模式，在速度和精度方面取得了較好的平衡，為人群檢測等實際套用提供了良好的基礎。在眼動數據分析和注意模型方面，提出了分析眼動注視點分布和眼動軌跡隨機性的模型，構建了融合自底向上和自頂向下的注意信息, 基於全卷積編解碼的顯著區域檢測模型，並將數據驅動的注意模型引入到非監督的模式發現任務中，用於細粒度的場景分類。在典型套用方面，我們構建了夜間車輛跟蹤系統、複雜交通場景中的行人跟蹤系統、小群體的檢測與跟蹤系統，這些系統均取得了較高的準確率，可達到實時性需求。建成一個夜間交通監控視頻數據集，於2017年公開，供研究使用。