《基於緊湊視覺特徵與混合索引的海量圖像檢索技術研究》是依託北京大學，由張史梁擔任負責人的面上項目。
基本介紹
- 中文名：基於緊湊視覺特徵與混合索引的海量圖像檢索技術研究
- 項目負責人：張史梁
- 項目類別：面上項目
- 依託單位：北京大學
項目摘要,結題摘要,
項目摘要
隨著計算機技術和網路技術的進步，網路上的圖像數據已經呈現爆炸式增長。研究如何有效地存儲、檢索和分析海量圖像數據具有重要的理論和實際意義。本課題圍繞如何提取高判別力緊湊特徵、如何合理融合多模態特徵，這兩個海量圖像檢索中的重要問題開展研究。具體的研究內容包括：（1）緊湊局部特徵提取、（2）緊湊深度卷積神經網路特徵提取、（3）混合索引建立、（4）移動視覺與監控視頻檢索套用。本課題通過提取兩類互補特徵來同時獲取圖像的局部細節與高層語義信息，通過分別對兩種特徵進行二值化和壓縮獲得緊湊的特徵表達，利用混合索引離線融合多模態的圖像特徵。研究提出的緊湊特徵和高效索引框架有望提升檢索準確率並降低檢索的計算、記憶體、網路傳輸開銷，實現對海量的監控視頻數據的有效索引和檢索，推動移動視覺檢索技術的發展。本課題預期在海量圖像檢索領域實現研究突破，並為多媒體信息大數據處理提供理論、技術和方法支持。
結題摘要
隨著計算機技術的進步，網路上的圖像視頻數據已經呈現爆炸式增長。研究如何有效地存儲、檢索和分析海量圖像視頻數據具有重要的理論和實際意義。本課題圍繞如何提取高判別力緊湊特徵、如何合理融合多模態特徵，這兩個海量圖像檢索中的重要問題開展研究。具體的研究內容包括：（1）緊湊局部特徵提取、（2）緊湊深度卷積神經網路特徵提取、（3）混合索引建立、（4）細粒度行人車輛檢索套用。本課題通過設計緊湊的淺層神經網路提取二值緊湊局部特徵，所提特徵比傳統手工特徵具有更強的判別力與緊湊性；通過設計新型的網路結構與網路訓練算法，顯著提升了神經網路特徵的判別力與推廣能力；通過設計高效的多層索引結構，提升了檢索的時間與空間效率；通過設計高判別力魯棒車輛與行人特徵，顯著提升了行人與車輛細粒度檢索準確率，並構建了原型系統。項目執行期間，項目組發表權威期刊與會議論文33篇，包括T-PAMI論文3篇、T-IP論文4篇、T-MM論文3篇、T-CSVT論文2篇，Patter Recognition論文2篇，CVPR、ICCV、AAAI、ACM Multimedia等CCF-A類會議長文9篇。課題負責人以第一發明人申請國家發明專利9項。項目組共培養博士生6人、碩士生3人。其中，博士畢業1人，碩士畢業2人。項目執行期間，負責人獲得首批北京市傑出青年科學基金、國家重點研發計畫政府間/港澳台重點專項資助，獲得教育部技術發明一等獎、中國電子學會科技進步一等獎等獎勵。
