面向大規模多媒體檢索的異構多模態融合技術研究

《面向大規模多媒體檢索的異構多模態融合技術研究》是依託香港城市大學深圳研究院，由楊宗樺擔任項目負責人的面上項目。

基本介紹

• 中文名：面向大規模多媒體檢索的異構多模態融合技術研究
• 項目類別：面上項目
• 項目負責人：楊宗樺
• 依託單位：香港城市大學深圳研究院

項目摘要

隨著網路和多媒體技術的快速發展，湧現出大量可以被用來理解多媒體內容的網路資源，如社會化多媒體文檔，概念分類器和搜尋引擎。如何利用這些異構的多模態資源，發展大規模多媒體檢索套用成為當前面臨的一個重要挑戰。.本項目開展面向大規模多媒體檢索的異構多模態融合技術研究，研究內容包括基於圖模型的多模態融合理論，以及基於多模態融合的大規模多媒體檢索套用。在融合理論方面，研究基於模態一致性的圖融合方法和基於循環重排序的圖融合方法。重點解決多個模態融合權重的快速魯棒推導，以及多個模態的相互作用問題。在檢索套用方面，開展基於上述多模態融合成果的大規模多媒體檢索套用研究。重點解決多特徵融合的網路視頻檢索，多目標元搜尋，以及跨域融合的語義概念檢索三種套用中多模態信息的有效融合問題。.本項目的研究將完善多模態融合的理論，實現對多媒體內容高層語義的深層次理解，並為多種大規模多媒體檢索套用提供核心算法和關鍵技術。

結題摘要

在本項目的研究過程中，針對計畫的兩項研究內容（基於圖模型的多模態融合理論和基於多模態融合的大規模多媒體檢索套用），課題組開展了深入的研究工作。在網路多媒體內容呈爆炸式增長的當今社會，這些工作將有助於提高對多媒體文檔高層語義的深層次理解，並豐富大規模多媒體檢索的套用。 首先，在基於圖模型的多模態融合理論方面，問題的關鍵是如何從多種模態中尋找一致性從而對搜尋引擎的結果進行重排序以提升檢索性能。課題組提出了一種全新的重排序方法—循環重排序法。基於強弱模態的互補性，該法通過增強多種模態間的信息互動能力從而提升多媒體內容的檢索性能。該法通過對多模態下的排序得分進行循環多輪的隨機遊走從而讓模態間的信息得以充分互動。不同於以前的工作，該法能夠有效的尋找多模態間的一致性。對於循環重排序法中的模態間信息傳遞的順序，課題組也進行了廣泛的研究。該法在Microsoft Research Asia Multimedia圖片資料庫和TREC Video Retrieval Evaluation 2007-2008數據上取得了很好的檢索效果。除此之外，項目組對多模態融合在人臉和菜譜的檢索套用上也取得了很好的進展。 其次，在基於多模態融合的大規模多媒體檢索套用方面，課題組重點研究了跨域學習的語義概念識別。轉移在源域標記好的數據或者模型至目標域，也就是跨域學習，是我們在生活中經常遇到的問題。直接套用源域的信息往往效果不盡如人意，尤其是在目標域和源域的數據分布不同或者目標域僅有少量的標記數據的時候。課題組提出了全新的跨域融合的框架—基於子空間學習的半監督域適應法（SDASL）。該法對低維結構跨域不變性和基於目標域非標記數據的直觀分布進行了探索。在多個標準資料庫上的跨域圖片物體識別和視頻概念檢測競賽中，該法的有效性均得到了驗證。課題組還進一步的利用用戶真實點擊數據對多目標元搜尋問題進行了研究。通過利用搜尋引擎記錄的用戶點擊數據挖掘用戶的真實搜尋意圖，並構建模型計算視頻之間的相似度，我們可以對大量的網路視頻進行標註。 四年來，本課題共發表學術論文17篇，其中6篇發表於CCF-A類期刊和會議，5篇發表於CCF-B類期刊和會議，如IEEE TIP、IEEE TMM、ACM Multimedia、CVPR、SIGIR、WWW等。