視覺選擇性導向的場景信息理解與聯想研究

《視覺選擇性導向的場景信息理解與聯想研究》是依託上海交通大學，由周越擔任項目負責人的面上項目。

基本介紹

• 中文名：視覺選擇性導向的場景信息理解與聯想研究
• 項目類別：面上項目
• 項目負責人：周越
• 依託單位：上海交通大學

項目摘要

長期以來圖像顯著性區域檢測與分割、場景理解（場景分類、語義標註）被視為計算機視覺領域中兩個相對獨立的問題。近年來，生理學實驗表明：生物視覺系統依賴於選擇性注意力，結合視覺記憶，快速理解場景內容，表明圖像顯著性，視覺記憶以及場景語義理解與聯想是緊密相關的。受視覺認知機理啟發，本課題擬構建基於圖像顯著性並結合語義資料庫的圖像場景信息理解與聯想計算模型,即利用視覺注意力選擇機制、視覺感知組織機制，即視覺顯著性、區域分割模型，初步篩選、精確提取場景關鍵語義單元；利用視覺信息的聯想記憶機制，即近似場景的語義知識遷移，標註關鍵語義單元；從而進一步採用機率圖模型處理場景語義單元與語義主題的理解與聯想過程。藉助於結合外觀相似性與上下文語境的機率圖模型，場景信息的理解與聯想被分為兩個層次：場景語義單元的理解與聯想；場景主題的理解與聯想。在理解與聯想的模型基礎上，課題將進一步探索場景信息語義联想的具象化過程。

結題摘要

課題組就視覺選擇性導向的場景信息理解與聯想這一主題展開了深入探索。其中，課題組重點考察了三個問題：圖像顯著性區域的提取、顯著性單元的語義標註、場景信息的理解與聯想。在顯著區域的提取問題上，提出了基於底層特徵及稀疏編碼的顯著性檢測模型；在顯著性單元的語義標註問題上，提出了基於場景語義联想的顯著性單元識別算法；在場景信息的理解與聯想問題上，提出了基於組合貝葉斯網路以及基於場景語義單元聯想的場景理解算法。最終，這三個問題的綜合即構成了視覺選擇性導向的場景信息理解與聯想過程。課題組的探索取得了一系列成果，三年來總計發表文章27篇，其中SCI索引12篇，EI索引12篇，包括領域知名會議ECCV,CVPR,ACCV等。然而，課題組也深刻意識到這一探索仍然較為初步，並將在此課題及其相關課題上進一步深入挖掘與探討。