動態場景下視覺事件建模與識別方法研究

《動態場景下視覺事件建模與識別方法研究》是依託上海交通大學，由張麗清擔任項目負責人的面上項目。

基本介紹

• 中文名：動態場景下視覺事件建模與識別方法研究
• 項目類別：面上項目
• 項目負責人：張麗清
• 依託單位：上海交通大學

項目摘要

視覺事件識別指的是從在自然視覺場景獲取的視頻中對發生的事件進行識別和描述。該問題不僅涉及到計算機視覺特徵分析和模式識別問題，而且涉及到高層視覺認知表征問題，具有重要理論意義，同時具有廣泛的社會需求和套用價值，在遠程視頻監控、智慧型交通、視頻檢索和新一代人機互動中有著廣泛的套用前景。本項目研究動態場景下視覺事件的建模與描述方法，利用主動視覺機理選擇視覺場景與事件主體相關特徵，在運動描述空間上刻畫視覺事件。進一步在視覺運動特徵空間上建立事件的動態貝葉斯描述模型和模式識別方法。本項目研究主要內容主要圍繞三個層次上的問題進行研究，包括局部特徵描述，事件運動模式描述以及動態模式聚類與識別。在理論上分析識別算法的計算複雜度和計算效率，通過視覺事件建模的典型套用驗證提出方法的性能，展示提出事件建模方法的優越性。研發視覺事件建模理論的一個典型套用，為視覺事件識別提供技術原型和相關的實驗測試數據。

結題摘要

本項目研究視覺場景事件識別的描述模型和識別方法，該問題不僅涉及到計算機視覺特徵分析和模式識別問題，而且涉及到高層視覺認知表征問題，具有重要理論意義，在遠程視頻監控、視頻檢索和新一代人機互動中有著廣泛的套用前景。 本項目研究了動態場景下視覺事件的建模與描述方法。研究主要內容主要圍繞三個層次上的問題進行研究，包括局部特徵描述層，事件狀態空間描述以及動態模式的聚類與匹配。通過視覺事件建模的典型套用驗證提出方法的性能，展示提出事件建模方法的優越性。 本課題共發表論文36篇，發表論文SCI收錄的論文11篇，包括IEEE PAMI, IEEE NSRE, IEEE NNLS。在CCF A類國際會議上發表論文6篇。在視覺事件特徵提取、視覺事件動態模式識別和典型套用方面取得了相應研究進展。在視覺張量分解分解提取視覺事件特徵方面，提出了非完整數據張量並行因子分解是通過直接提取多線性隱含因子的張量完型填值技術。利用層次化機率模型建立並行因子分解模型，對多隱含因子給予稀疏性先驗約束，對模型超參數給出相應的先驗約束，該模型能自適應估計分解張量的秩。 利用深度網路模型描述視覺事件的時空特特徵方面，提出了基於隱含概念描述編碼方法和雙通道深度卷積網路結合的視覺事件描述模型，將隱含概念描述拓展到多分辨模型上，提出了多層次隱含概念描述模型。該模型對雙通道深度卷積網路輸出層的特徵進行特徵編碼，然後用支持向量機進行最後的視頻分類。在典型套用方面，我們開展了視頻異常事件檢測研究。提出了基於稀疏自編碼器和遞歸神經網路的異常事件檢測模型。該模型中的循環神經網路的預測能力可以用來檢測視頻中的異常事件。實驗驗證了循環神經網路對視頻時間特徵的建模能力強。另一個套用是視頻行人自動計數與密度估計，針對監控攝像解析度低，人群遮擋、形變等問題，我們提出了基於行人檢測與行人跟蹤人數計數算法，該原型系統取得了較高的準確率，可達到實時性的需求。