《基於泛化多標記學習的監控視頻多粒度表示機理研究》是依託同濟大學，由衛志華擔任項目負責人的面上項目。
基本介紹
- 中文名：基於泛化多標記學習的監控視頻多粒度表示機理研究
- 項目類別：面上項目
- 項目負責人：衛志華
- 依託單位：同濟大學
中文摘要,結題摘要,
中文摘要
海量視頻監控系統存在傳輸壓力大、檢索效率低、描述方法不統一等問題，成為制約其進一步套用和發展的瓶頸，將視頻轉化為文本標記是解決上述問題的有效途徑。然而，目前自動視頻標註方法中存在標記信息單一、特徵信息抽象、結構關係不明等問題。本項目以公安視頻監控為背景，圍繞解決多層次視頻信息提取和多粒度視頻內容表示兩個關鍵科學問題，主要研究：（1）基於深度網路的泛化多標記分類算法，建立標記和特徵一體化學習機制，解決對象和特徵難以關聯的問題；（2）基於協同訓練的目標跟蹤算法，用以提取對象的動態信息，解決目標跟蹤魯棒性差的問題；（3）基於詞簇的多粒度視頻表示模型，建立不同粒層間的轉換機制，解決視頻內容表示缺乏層次結構的問題；（4）監控視頻多粒度表示評價標準，用以評價本項目提出的多粒度表示模型。本項目研究多粒度視頻表示模型是對傳統知識表示和推理理論和方法的拓展，對提升視頻監控的智慧型化水平具有重要的意義。
結題摘要
本項目針對海量視頻監控系統中存在傳輸壓力大、檢索效率低、描述方法不統一等問題，以多層次視頻特徵提取和多粒度視頻內容表示為主要研究對象，圍繞以下幾方面進行了深入的研究：(1) 針對多標記學習算法泛化能力較弱、分類準確率不高等問題，研究了基於多輔助信息的泛化多標記學習算法。通過提取視覺特徵、標籤共現和用戶興趣向量等多輔助信息對初始標籤進行最佳化，得到更準確的分類結果。(2) 針對單一目標檢測算法容易誤報、單一目標跟蹤算法容易受遮擋、丟幀等外界因素影響等問題，研究了基於協同訓練的目標跟蹤算法。除了檢測模組和跟蹤模組外，還設計了綜合模組對二者輸出進行整合和修正，使得檢測算法和跟蹤算法相互補充，從而提升了算法的魯棒性。(3) 針對視頻內容表示缺乏對象及其部件結構關係的有效定義，研究漸進式視頻目標精細化識別與描述算法。基於多粒度學習和深度學習理論，分析和提取了視頻中各對象不同層次的特徵。基於粒計算理論和自然語言理解技術，建立視頻信息的多粒度表示模型，為多層次視頻信息提取提供了有效的理論和方法。(4) 針對監控視頻多粒度表示，提出了一套適應多粒度信息度量的評價指標和體系，可以實現對算法的客觀評估。針對多粒度視頻檢索套用，定義了相應的檢索模式，使之不僅能檢索視頻內對象的名稱，還能檢索各部件的特徵信息，從而實現視頻內容多粒度檢索。(5) 建立了監控視頻數據集。一方面，我們採集了大量交通路況視頻，通過人工裁剪，獲得了包含典型對象（如人、車）和事件的視頻片段。另一方面，公安部第三研究所為我們提供了大量路口、銀行等監控視頻數據。 這些資源為我們開展研究工作做了良好的儲備。另外，課題組在監控視頻中人、車、物等目標部件識別與描述方面也開展了大量的研究工作，為後續監控視頻目標精細化描述及其可解釋性的進一步研究奠定了良好的基礎。
