《基於遷移學習的圖像搜尋理論與方法研究》是依託北京大學，由許超擔任負責人的面上項目。
基本介紹
- 中文名：基於遷移學習的圖像搜尋理論與方法研究
- 項目負責人：許超
- 項目類別：面上項目
- 依託單位：北京大學
項目摘要,結題摘要,
項目摘要
伴隨著圖像數據的指數級增長，圖像搜尋成為新的研究熱點之一。目前商業的圖像搜尋系統大都是基於圖像文本信息進行搜尋，而圖像本質的內容信息還沒有被有效地利用。由於圖像高層概念的標註耗時耗力，使得標註樣本的數量通常較少，因而基於文本的圖像搜尋性能尚不能滿足用戶需求。基於圖像內容的搜尋，由於圖像內容自動識別的困難，傳統機器學習的方法會陷入小樣本問題，無法有效地對圖像的底層特徵和高層概念進行映射。本課題將採用遷移學習的理論和方法，儘可能多地藉助各個相關層面的輔助信息，如相關概念的共享信息，輔助域的標註數據和搜尋模型，複雜特徵相互間的關係和變換，以及文本搜尋模型，來緩解小樣本問題。為了綜合、最佳化地利用輔助信息，我們提出結合跨概念遷移，域遷移，特徵遷移和文本搜尋模型遷移的圖像搜尋綜合框架，以及基於正則化的學習方法，計畫從多個側面深入研究，相輔相成，使圖像搜尋性能得到顯著的提高。
結題摘要
本項目緊密圍繞任務書中計畫的混合排序模型設計、圖像內容特徵的提取、排序模型的適應性、擴展性研究等三個方面展開研究,取得了超出預期目標的學術成果。在混合排序模型設計方面，我們提出了兩種文字、圖像特徵混合的排序模型，相關論文發表在 IEEE Transactions on Multimedia 和 IEEE Transactions on Knowledge and Data Engineering 等期刊和IEEE CVPR會議上。在圖像內容特徵的提取方面，我們提出了圖像特徵的快速量化算法、組合流形降維算法、特徵的度量學習算法等，相關論文發表在 IEEE Transactions on Image Processing 和 IEEE Transactions on Pattern Analysis and Machine Intelligence 等期刊和ACM MM（SIGMM）會議上。在排序模型的適應性、擴展性研究方面，我們提出了排序模型遷移算法、流形多任務學習算法、並行SVM快速算法等，相關論文發表在 IEEE Transactions on Neural Network & Learning systems 和 IEEE Transactions on Image Processing 等期刊和ACM MM（SIGMM）會議上。 經過三年的努力工作，取得了超出預期目標的學術成果。預期目標是發表論文15篇，國際期刊至少1篇。本項目實際完成10篇國際期刊論文，而且SCI影響因子均超過1.5。其中8篇IEEE Transactions 期刊論文，2篇Elsevier期刊論文。6篇論文已經正式發表，3篇已經有網路版發表。10篇中9篇為長文，唯一的短文是在本領域頂級期刊PAMI上發表，應編輯要求刪減到7頁。還有4篇頂級會議論文，包括SIGMM論文 2篇，CVPR 論文2篇。一般國際會議論文5篇以上。另外，發明專利有2項在申請中。實驗系統也已經完成，在實驗資料庫中的性能超過常用搜尋系統，如論文中的實驗結果所表明。
