基於多示例學習的視覺注意建模及套用研究

《基於多示例學習的視覺注意建模及套用研究》是依託中國科學技術大學，由萬壽紅擔任項目負責人的面上項目。

基本介紹

• 中文名：基於多示例學習的視覺注意建模及套用研究
• 項目類別：面上項目
• 項目負責人：萬壽紅
• 依託單位：中國科學技術大學

中文摘要

本課題是針對目前視覺注意模型與人類感知的高層語義以及用戶主觀意向之間存在鴻溝的問題，面向多樣例圖像，利用多示例學習方法，提出一種基於多示例學習的視覺注意模型。從人類視覺感知特性出發，在現有視覺注意模型研究成果的基礎上，研究基於多示例學習的視覺特徵選擇與提取方法、基於關注度的特徵融合模式、基於興趣對象的視點轉移模擬，構建基於多示例學習的視覺注意計算模型，並將其套用於圖像檢索領域以提高查準率、驗證模型的有效性，為圖像分析與理解提供理論基礎和模型參考。本課題的研究旨在有效表達多樣例圖像的高層語義及用戶主觀意向，縮小語義鴻溝，使圖像分析與理解過程更接近人類的感知。因此，本課題的研究具有十分重要的理論研究意義和實用價值。

結題摘要

針對多樣例圖像，利用多示例學習方法，從人類視覺感知特性出發，研究圖像視覺特徵選擇與提取、特徵融合、顯著對象提取以及視點轉移模擬方法，提出基於多示例學習的多樣例圖像視覺注意計算模型。從自顯著性、全局對比顯著性、局部對比顯著性以及稀疏性四方面衡量不同視覺特徵的顯著性，提出了不同特徵通道對視覺刺激的特徵顯著性計算方法，以及基於多示例學習的特徵與圖像相關度分析方法、基於一致性的示例選擇方法，設計了基於關注度的多特徵顯著度融合算法，形成綜合視覺顯著性表征，提取顯著對象並模擬對象的視點轉移過程。與已有的視覺注意模型相比，提高了顯著對象的完整性，提出的視覺注意模型可以更好地反映關注的目標內容，更接近於人類主觀視覺注意過程，有效地表達了多樣例圖像的高層語義及用戶主觀意向。將提出的模型套用到多樣例圖像檢索中，提高了圖像檢索的正確率，縮小了多樣例圖像語義鴻溝，使圖像分析與理解過程更接近人類的感知。