時空上下文感知的網路視頻主題目標發現與分割研究

《時空上下文感知的網路視頻主題目標發現與分割研究》是依託西安交通大學，由王樂擔任項目負責人的青年科學基金項目。

基本介紹

• 中文名：時空上下文感知的網路視頻主題目標發現與分割研究
• 項目類別：青年科學基金項目
• 項目負責人：王樂
• 依託單位：西安交通大學

中文摘要

網路視頻除具有海量、高維等固有特性外，日趨呈現出社會化和主題化的特點，且包含的目標離散分布、變化較大並具有不同層次的關聯關係。現有的大多數視頻目標發現與分割方法由於對視覺目標的關聯特性及目標發現和分割間的協同關係重視不夠，經常陷入求解困難、精度低等困境。針對這些問題，本項目旨在研究時空上下文感知的網路視頻主題目標發現與分割的協同計算模型和方法。以申請人已有的圖像目標發現與分割工作為基礎，分析並表征目標類內的構造關係和類間的相互關係，建立時空上下文模型，設計快速魯棒的學習算法；利用目標發現與分割的協同關係，分別提出基於時空上下文模型的單類和多類視頻主題目標發現與分割的聯合計算模型和算法，並提出基於主題目標的視頻摘要算法；開發視頻主題目標標註、發現、分割與摘要系統，建立新的網路視頻資料庫以完整評測所提算法。本項目的實施可為網路環境下的視頻內容理解提供技術支持，並可套用於視頻監控、瀏覽和搜尋等。

結題摘要

在基金項目的資助下，緊緊圍繞時空上下文感知的網路視頻主題目標發現與分割開展研究，在四個方面取得了重要進展。在視覺上下文信息表示與建模方面，提出了一種基於層次化多模態LSTM的視覺語義联合嵌入方法。在單類視頻主題目標發現與分割方面，基於動態馬爾科夫網路的噪聲視頻目標聯合發現與分割方法，一種藉助極少量用戶監督的視頻目標發現與協同分割方法，以及一種基於分層超圖模型的視頻目標協同分割方法。在多類視頻主題目標發現與分割方面，提出了一種基於知識主題模型的無監督目標發現與定位方法，進而提出了一種基於視頻印記分割的未剪輯視頻時序行為檢測方法，以及一種未剪輯長視頻人體動作聯合定位與分割方法。在基於主題目標的視頻摘要方面，提出了一種統一的複雜視頻事件聯合檢索、識別與解析方法。在系統整合方面，建立了一個圖像/視頻數據自主採集、篩選與標註系統，實現了對類別圖像/視頻數據的自動下載、篩選和標註。在基準資料庫建立方面，建立並發布了五個圖像和視頻資料庫，包括視頻目標分割與分類資料庫（XJTU-Stevens dataset）、帶噪聲的視頻目標發現與分割資料庫（Noisy-ViDiSeg dataset）、帶噪聲的視頻目標協同分割資料庫（Noisy-ViCoSeg dataset）、視頻行為時空定位資料庫（ActSeg dataset）和亞洲人臉年齡資料庫（AFAD dataset），為本課題研究和同類研究提供了基準數據。目前課題已在國際權威期刊和重要國際會議上發表論文14篇，包括IEEE Trans. on Pattern Analysis and Machine Intelligence、IEEE Trans. on Image Processing等重要國際期刊論文6篇，CVPR、ICCV和AAAI等重要國際會議論文8篇。獲授權國家發明專利1項，申請國家發明專利2項。項目執行期間，項目負責人王樂入選中國科協青年托舉人才工程項目。培養博士生2人，碩士生4人。