《網路信息感知的視頻語義分析與檢索》是依託清華大學，由欒煥博擔任項目負責人的青年科學基金項目。
基本介紹
- 中文名：網路信息感知的視頻語義分析與檢索
- 依託單位：清華大學
- 項目負責人：欒煥博
- 項目類別：青年科學基金項目
項目摘要,結題摘要,
項目摘要
視頻數據採集設備的普及和網際網路技術的發展，推動了網路視頻數據的爆炸式增長，其中所包含的豐富元數據信息及群體智慧型信息為解決視頻語義理解的開放性難題提供了新的有效途徑。本課題將以視頻語義分析與檢索為重要目標，以網路信息感知和深度挖掘為核心手段，針對網路視頻信息的高噪聲、稀疏性及動態性特點，重點研究基於網路信息感知的視頻結構化表征，網路視頻標籤定位和標籤噪聲處理，網路信息與視頻內容融合的多模態機器學習，以及檢索過程中多策略相關反饋和反饋策略自動選擇等關鍵問題，同時建立實驗平台驗證各項關鍵技術的有效性。本課題力爭取得創新性及突破性的研究成果,為新一代視頻服務和管理提供核心算法和技術。
結題摘要
本項目針對基於網路信息感知的視頻語義分析和檢索中的關鍵科學問題，對符合網路視頻特性的中層特徵表示、網路視頻標籤定位和標籤噪聲處理、基於多模態中端融合的統計學習方法以及自適應的多策略相關反饋方法展開深入研究，提出了視覺屬性標籤自動發現與構建方法、從帶噪聲的海量社交圖像數據中自動學習提取視覺語義特徵的方法和利用自動構建的語義視覺知識庫輔助增強視頻時間的檢測方法。本項目所提出的研究方法，能夠以數據為驅動，從數據中直接發現和建立視覺屬性標籤，為實現視頻和圖像的全自動標註提供可行性方案和技術保證，利用圖像和文本協同計算的機制，可以從數據中自動識別、建模、命名發現的語義特性，實現網際網路社會多媒體的自動語義分析。我們的工作不但為視頻圖像的高級語義概念檢測自動提供訓練數據，有效解決了之前方法需要大量標註樣本的困難，為真正解決人工智慧中“語義鴻溝”問題做出了有效嘗試。本項目在國際重要刊物和會議上發表16篇論文，培養博士生和碩士生4人，並搭建了相應的實驗原型系統。
