基於搜尋的高效視頻標註技術研究

《基於搜尋的高效視頻標註技術研究》是依託大連理工大學,由李豪傑擔任項目負責人的面上項目。

基本介紹

• 中文名：基於搜尋的高效視頻標註技術研究
• 依託單位：大連理工大學
• 項目類別：面上項目
• 項目負責人：李豪傑

項目摘要

隨著Web2.0技術的發展，網際網路上帶有弱標註信息的共享視頻數據呈爆炸式增長。如何對高噪聲、稀疏的視頻標註信息進行最佳化以提升視頻檢索性能，並進一步利用它們實現對非限定領域未標註視頻的高效自動標註，是目前面臨的一個重要挑戰。現有工作在視頻內容的有效表征、內容與語義融合、上下文信息挖掘等研究上還有許多問題亟待解決。針對這些問題，本課題擬深入研究魯棒的多模態特徵表示方法，通過相似視頻搜尋和語義關聯挖掘來最佳化網路視頻標籤；並進一步建立重要標籤和視頻中鏡頭的對應關係，以實現對網路視頻的精細標註；以此為基礎構建鏡頭級標註的大規模視頻庫，利用該庫研究基於上下文建模的無標註視頻的高效標註方法。本課題將有力推動視頻標註理論和套用的發展，為新一代網路多媒體服務和海量視頻管理提供核心算法與技術。

結題摘要

面對呈爆炸式增長趨勢的數字媒體大數據，如何有效地對媒體內容進行表征進而實現語義理解是對這些海量媒體數據進行高效管理的技術途徑，也是目前面臨的重大挑戰。本項目對多媒體內容標註進行了較深入的研究，取得了一系列創新性成果，包括基於稀疏因子表征的多標籤圖像分類算法、面向語義鴻溝主動學習的圖像標註算法、結合語義主題挖掘和視覺相關性的視頻標籤定位方法、多模態特徵融合的視頻標註方法，以及基於幾何約束的圖像/視頻高維索引技術等，此外，我們還構建並發布了一個大規模的視頻標籤定位基準資料庫。這些成果發表論文22篇，其中SCI論文16篇，IEEE彙刊論文3篇。項目成果有力推動了多媒體語義標註的理論和技術研究，並為海量多媒體內容/語義檢索提供了一些可行的技術方案，對相關套用系統具有借鑑意義。