面向大規模城市監控視頻檢索的語義屬性研究

《面向大規模城市監控視頻檢索的語義屬性研究》是依託中國人民解放軍國防科技大學，由孫浩擔任項目負責人的青年科學基金項目。

基本介紹

• 中文名：面向大規模城市監控視頻檢索的語義屬性研究
• 項目類別：青年科學基金項目
• 項目負責人：孫浩
• 依託單位：中國人民解放軍國防科技大學

中文摘要

隨著平安城市建設的不斷深入，監控攝像頭已經遍布城市的大街小巷。城市監控網路不斷產生著大量的視頻數據，如何從這些大規模數據中快速準確地檢索用戶關心的信息已經成為制約智慧型監控系統發展和套用的瓶頸問題。 基於語義屬性的視覺對象描述與檢索方法，可以有效地克服語義鴻溝問題，較準確地將人類的檢索意圖傳達給計算機，同時還具有有效性高、易於並行化等優點，是大規模圖像、視頻數據集檢索研究的新思路。 本項目研究基於語義屬性的大規模城市監控視頻檢索的新理論和新方法，針對城市監控視頻大規模、多視角、可量測、複雜動態背景和多模態多配置類型的特點，通過構建引入監控先驗信息與時空信息累積的多層次描述性視覺屬性模型，推斷能夠有效地平衡對象的個體區分性、群體相關性、屬性可命名性的潛在語義屬性，有效地聯合量測屬性、多層次描述性視覺屬性和潛在語義屬性描述視頻對象，提高面向對象的大規模監控視頻檢索的性能。

結題摘要

隨著我國城市化率的不斷提高及“和諧社會”、“平安城市”建設的不斷深入，監控攝像頭已經遍布城市的大街小巷。城市監控網路不斷產生著大量的視頻數據，如何從這些大規模數據中快速準確地檢索用戶關心的信息已經成為制約智慧型監控系統發展和套用的瓶頸問題。基於語義屬性的視覺對象描述與檢索方法，可以有效地克服語義鴻溝問題，較準確地將人類的檢索意圖傳達給計算機，同時還具有有效性高、易於並行化等優點，是大規模圖像、視頻數據集檢索研究的新思路。項目開展基於語義屬性的大規模城市監控視頻檢索的新理論和新方法研究，針對城市監控視頻大規模、多視角、可量測、複雜動態背景和多模態多配置類型的特點，重點關注視頻對象語義描述方法。（一）考慮到視頻對象在不同攝像頭採集的視頻中外觀、姿態和運動特性存在很大差別，底層特徵描述可能已發生變化，通過構建引入監控先驗信息與時空信息累積的多層次描述性視覺屬性模型，提取不變的屬性描述；（二）屬性學習根據先驗信息定義屬性，需要事先設定屬性的數量和屬性的語義，或者是通過圖像附帶的自然語言描述定義屬性，需要大量的人工標記樣本。然而大規模城市監控網路存在海量的歷史觀測數據，這些數據沒有屬性標記。基於數據驅動的思想，採用稀疏因子分析模型推斷能夠有效平衡對象的個體區分性、群體相關性、屬性可命名性的潛在語義屬性；（三）監控視頻對象的量測屬性、多層次描述性視覺屬性和潛在語義屬性間存在相關性和互補性，準確地推斷多個屬性間的關係，不僅可以降低對象屬性描述的冗餘性，還可以改善查詢屬性結構，提高檢索效率和準確性。由於對象的運動或觀測視角的不同，視頻對象的屬性可能發生漏檢或強度變化，用於視頻對象描述的多個屬性間的關係是動態變化的，採用動態貝葉斯網路有效地聯合多個屬性進行對象描述的動態建模。（四）構建了數據處理和套用驗證平台，驗證了項目研究方法的有效性。