《群目標運動的視覺描述與語意理解》是依託上海交通大學，由劉允才擔任項目負責人的面上項目。
基本介紹
- 中文名：群目標運動的視覺描述與語意理解
- 項目類別：面上項目
- 項目負責人：劉允才
- 依託單位：上海交通大學
項目摘要,結題摘要,
項目摘要
群目標運動是自然界和人類社會中的普遍現象，如密集人群運動、車輛交通流、鳥群和魚群的運動。調研結果顯示，國內外對群目標的研究目前尚沒有一個完善的理論框架和系統的方法。 課題將系統地研究群目標運動的視覺描述與語義理解的理論與方法。在理論研究方面，從群目標運動的物理模型著手，關聯群目標運動的視覺模型，採用計算機視覺的理論與方法，研究群目標的運動規律與描述方法。以人流、交通流以及自然界的密集生物等運動群體為對象，研究群目標運動的視頻檢測、視覺描述、集群分類等計算方法。對於個體可分辨的群目標運動，研究如何克服遮擋，解決群中個體目標的運動跟蹤及其與整體群運動的關係；對於密集群目標運動，研究其視覺特徵描述與檢測方法，分析群目標的運動特徵以及邊界約束對其運動的影響；理解群的匯聚、消散、合併、分裂等運動形態演變的語義。在套用層次上，結合人群流、交通流，研究群目標運動的高層語義；構建原型驗證系統。
結題摘要
本課題主要探索和研究了群目標的運動模式分析、語意理解、群體運動的整體性度量與檢測；通過對視頻中群目標運動特徵的提取和分析，判斷出場景中持續的運動模式。在我們開發的資料庫和公用資料庫上都進行了大量實驗評估和算法分析，取得了令人滿意的實驗效果。 (1) 針對傳統的光流特徵無法捕捉到長時的運動信息、噪聲較大的缺點，提出了一種運動歷史光流場信息的群目標運動模式分析方法，克服了瞬時波動帶來的不穩定性，從全局角度捕捉到群目標的長時穩定運動信息。 (2) 由於密集場景下個體目標小、解析度低且相互影響嚴重，本研究提出了一種基於線特徵——軌跡片段信息來分析群目標運動模式的方法，克服了點特徵信息的不足，迴避了密集目標全程跟蹤的困難，實現了軌跡片段的短時魯棒跟蹤和主要運動路徑的判斷。 (3) 提出基於後驗散度特徵映射的運動模式分析方法，通過對軌跡片段學習後驗散度得到特徵映射，反映了群目標運動模式分析的本質信息。 (4) 將群目標運動的位置、速度和方向整合為一個有效的軌跡形狀描述，採用深度學習方法挖掘運動軌跡的本質信息，大大降低了特徵的維度。通過逐層的抽象挖掘出運動軌跡的結構化信息，得獲得符合稠密群體認知過程的基本運動模式。 (5) 探索了群體目標運動的整體性特性，定義了巨觀-微觀運動連續性和群體運動整體性度量和計算方法，提出了用以檢測場景中的運動一致性群組的Group Mining運動的整體度的檢測算法並通過大量實驗驗證了所提出理論的正確性。 在課題的執行過程中，課題組緊緊圍繞課題的研究目標，對群目標運動的視覺建模、群目標運動特徵提取、運動模式分析以及目標運動群的特性題研究中，完成學術論文36篇，其中IEEE Trans、CVPR 等高水平學術期刊、會議論文20餘篇。
