檢索引導的多模態數據稀疏化降維及哈希技術

《檢索引導的多模態數據稀疏化降維及哈希技術》是依託山東師範大學，由張化祥擔任項目負責人的面上項目。

基本介紹

• 中文名：檢索引導的多模態數據稀疏化降維及哈希技術
• 項目類別：面上項目
• 項目負責人：張化祥
• 依託單位：山東師範大學

項目摘要

高維多模態數據規模不斷擴大，數據存儲和檢索麵臨新挑戰。研究多模態數據稀疏化降維及哈希技術，降低存儲空間，提高檢索速度，已引起學術和產業界的高度關注。傳統稀疏化降維及哈希技術處理多模態數據時，與檢索套用分割開來，忽略多模態數據間語義關聯對降維的影響。本課題研究，如何結合多模態數據檢索需求，實現檢索引導的多模態數據稀疏化降維及哈希技術。首先研究建立多模態數據語義關聯模型、檢索序列模型、同模態與不同模態數據相似保持模型，然後將多個模型統一在一個框架中。執行多模態數據稀疏化降維及哈希投影時，該框架既可以保持同模態數據的全局、局部及語義相似特性，又可以保持不同模態數據間與檢索密切相關的語義關聯、檢索序列和語義相似特性，從而有利於提高稀疏化處理後多模態數據的檢索性能和檢索效率。

結題摘要

項目研究多模態數據稀疏化降維及哈希技術，降低存儲空間，提高檢索速度,提出了改進的子空間學習技術、深度跨媒體檢索及跨媒體哈希技術，達到預期研究目的。研究建立了多模態數據語義關聯模型及語義關聯保持的降維技術，利用語義空間投影技術，結合稀疏表示技術，實現了面向檢索的多模態數據降維；利用標記和未標記數據間的關聯信息，提出了半監督跨媒體檢索算法；依據檢索任務及檢索方向，對不同的檢索任務學習不同的投影矩陣，並加入聯合圖正則化，結合模態間相關性、語義信息以及半監督正則化，進一步提高檢索精度。針對建立的多模態數據語義關聯及檢索序列表達模型，開展實驗驗證工作，在得到驗證的基礎上，實現關聯保持及序列保持的數據降維。同時研究構建同構數據局部、全局及稀疏化保持模型；結合前期工作，提出同時保持同模態數據特性及異構模態數據特性的數據稀疏化降維技術，實現真正意義的檢索引導的多模態數據降維。討論引入數據判別信息，提高降維數據的判別能力，有利於數據檢索，實驗驗證有監督、半監督及無監督情況下的降維效果。考慮不同模態數據的統計特徵，提出了利用生成學習分別對數據進行生成，通過數據生成得到不同模態數據間關聯關係。提出了一種多模態圖正則化方法，通過利用不同模態數據的近鄰關係對各個模態數據進行圖建模，以此提高所獲得的空間結構質量。為解決哈希編碼的非對稱及表示問題，我們利用深度神經網路對原始的圖像及文本數據進行嵌套降維使之獲得更為有效、判定性更強的數據表示特徵，提出了一種非對稱最佳化算法減少了離散最佳化中的編碼損失和線上學習中的數據編碼問題，通過將不同的成對語義信息加入自適應學習到的權重，提高了線上跨模哈希的效果。