《利用多模態特徵的圖像搜尋關鍵技術研究》是依託北京大學，由許超擔任負責人的面上項目。
基本介紹
- 中文名：利用多模態特徵的圖像搜尋關鍵技術研究
- 項目負責人：許超
- 項目類別：面上項目
- 依託單位：北京大學
項目摘要,結題摘要,
項目摘要
本項目擬研究利用多模態特徵的CBIR圖像搜尋關鍵技術。以圖像為核心輸入的CBIR搜尋可以實現對未知物體的信息搜尋，這是文字搜尋難以完成的任務。本項目的研究內容包括：排序模型設計和多模態特徵提取技術。排序模型的研究方法是基於流形正則化框架，挖掘不同模態特徵的特性，研究對應的相似度度量模型和核函式，研究模型遷移的分步排序模型設計方法，研究特徵、圖、模型融合的排序模型設計，研究多物體圖像的針對物體的排序算法。多模態特徵提取技術的研究，一是研究圖像特徵的組合與分解，研究最小的圖像特徵元素的提取與流形聚類，研究從圖像特徵元素上升到圖像局部特徵、圖像物體特徵的方法，以及如何添加相關的空間特徵等。二是基於圖模型和共生機率模型，挖掘特徵之間的共享信息和關聯信息，依據文字特徵的語義，預測圖像物體特徵的語義，根據已知樣本，修正圖像物體特徵，賦予語義，研究物體特徵的統一表達，以及物體，而不是圖像，的圖模型。
結題摘要
本項目研究利用多模態特徵的CBIR圖像搜尋關鍵技術。以圖像為核心輸入的CBIR搜尋可以實現對未知物體的信息搜尋，這是文字搜尋難以完成的任務。本項目的研究內容包括：排序模型設計和多模態特徵提取技術。排序模型的研究是挖掘不同模態特徵和不同物體之間的關係，研究特徵的相似度度量、多物體關係分析和相應的排序算法。多模態特徵提取技術的研究，一是研究圖像特徵的組合與分解方法，研究物體完備特徵的提取方法。二是基於圖模型和共生機率模型，挖掘多模態特徵之間的共享和關聯信息，研究物體特徵的統一表達方法。 本項目發表國際期刊和會議論文28篇，其中23篇論文是CCF A類論文，包括國際頂級期刊IEEE T-PAMI論文2篇，國際頂級會議NIPS、ICML、SIG KDD論文4篇，入選ESI高被引論文5篇（Top 1%），入選ESI熱點論文1篇（Top 0.1%），單篇最高ESI引用126次。另外，申請發明專利2項。 重要科研成果包括：1、多模態的完備特徵空間學習算法，提取的特徵較為完備，支持雙重功能，例如圖像分類和重建；2、多模態的目標物體的特徵提取算法，從圖像中僅提取目標物體的特徵，抑制其他物體的信息，支持針對對象的識別功能；3、綜合多模態、多物體信息的矩陣填充算法，整合多模態的物體特徵，發掘物體之間的相關性，使其相輔相成，且能夠解決少量數據缺失的問題；4、Rademacher複雜度最小化的多標籤學習算法，發掘物體之間的低秩結構，利用物體之間的相關性，輔助物體識別。5、大間隔的多任務多模態學習算法，利用多任務學習發掘與利用多物體之間的關係；利用多模態矩陣同時學習各模態的特徵和多模態組合係數，利用大間隔準則選擇有區分力的模態特徵。 另外，在深度學習方面，我們針對主流的卷積神經網路的計算量大，存儲要求高的問題，開展了卷積神經網路的壓縮、最佳化研究。取得的成果有，1、提出了卷積濾波器的頻域壓縮算法，通過DCT變換、聚類、稀疏、量化、編碼等處理措施，減少權重參數的數量，降低卷積神經網路的計算和存儲負擔；2、提出了特徵圖的降維算法，利用循環矩陣降維，去除特徵圖之間的冗餘數據，減少特徵圖數量，降低卷積神經網路的計算和存儲負擔。
