跨媒體檢索

跨媒體檢索是指用戶任意給定一種媒體查詢如圖片，系統自動檢索出與查詢主題相關的所有媒體內容。跨媒體檢索是模式識別、人機互動、人工智慧、統計分析、網路通訊、資料庫等多個領域知識的綜合，必將在信息檢索、信息挖掘領域產生深遠的影響。

基本介紹

• 中文名：跨媒體檢索
• 外文名：Cross-media retrieval

挑戰

跨媒體檢索是基於內容的多媒體檢索中一個新的研究領域，目前國際上還沒有較成熟的跨媒體檢算法和技術．跨媒體檢索需要處理不同模態的媒體數據，例如：一個500維的視覺特徵向量和一個650維的聽覺特徵向量，兩者可能都表達了相似的語義概念，如爆炸和畫面與爆炸的聲音，但是計算機卻很難根據兩個特徵向量度量兩者在語義層面上的相關程度．以圖像和音頻為例，跨媒體檢索麵臨的主要挑戰包括：

(1)圖像視覺特徵與音頻聽覺特徵之間不但維數不同，而且具有不同屬性，這種異構性造成跨媒體的相關性度量十分困難；

(2)即使解決了特徵異構性問題，還需要進一步縮小底層特徵與高層語義之間的鴻溝，以提高跨媒體檢索精度。