《深度學習框架下基於情境線索的視覺注意研究》是依託深圳大學，由鐘聖華擔任項目負責人的青年科學基金項目。
基本介紹
- 中文名：深度學習框架下基於情境線索的視覺注意研究
- 項目類別：青年科學基金項目
- 項目負責人：鐘聖華
- 依託單位：深圳大學
項目摘要,結題摘要,
項目摘要
視覺注意是視覺系統的門戶，對視覺注意系統進行建模是一個重要而具有挑戰的跨學科課題，對於計算科學、心理學、認知神經科學和其他相關領域都有重要影響。為了實現準確、高效、完備的視覺注意建模，本項目組以眼動軌跡預測作為突破口，提出完善的視覺注意計算的任務框架，並將情境線索加入影響因素體系，提出深度學習框架下基於情境線索的視覺注意模型。該模型能夠對深度學習與情境線索深度融合，通過深度學習得到情境線索的多語義層次表征，並且將情境線索作為深度學習的規則化因子並指導深度學習，最終建立包含多語義層次的視覺注意計算方法。本項目將豐富和發展視覺注意計算的理論體系，提高計算機的特徵提取、表征、理解與鑑別能力。本項目探索視覺系統注意機制的模式與成因，將為腦科學、特別是視覺科學基礎理論的研究提供算法支持，在多媒體內容分析、虛擬現實、機器人、病理檢測、金融、廣告等領域都有著重要的套用價值。
結題摘要
視覺注意是視覺系統的門戶，對視覺注意系統進行建模是一個重要而具有挑戰的跨學科課題。為了實現準確、高效、完備的視覺注意建模，本項目組提出完善的視覺注意計算的任務框架，提出以深度學習為基本架構的視覺注意計算模型。通過深度學習得到情境線索的多層次語義表征，並且將情境線索作為深度學習的規則化因子指導深度學習，最終建立包含多語義層次的視覺注意計算方法。本項目豐富和發展了視覺注意計算的理論體系，提高了計算機的特徵提取、表征、理解與鑑別能力。本項目的主要研究結果體現在以下幾個方面： （1）在充分研究視覺注意計算模型、深度學習以及情境線索的基礎上，提出高準確性、高效率的視覺注意研究架構； （2）提出基於深度學習的多層次語義提取算法，並將不同層次的類別信息與語義信息嵌入到視覺注意計算中； （3）結合時空域上的視覺特點，提出基於視覺特點時空動態一致的視覺注意算法，實現從圖像到視頻的視覺注意建模，並將其用來預測複雜的視頻中人的視覺關注幀。本項目提出的模型，可以成功的套用在視頻的視覺注意預測的複雜任務上。在三個標準視頻資料庫中，展現出了比原有的方法更好的結果，訓練時間也顯示出一定的優勢。另外，我們還將提出的模型套用在視頻總結等視覺注意的擴展任務中，也顯示出了很好的結果，我們期待提出的模型將成功套用在更多的領域中。總結來說，本項目方案的提出與方法的設計結合了多個學科的理論基礎與研究手段。不但能夠構建一種有效且完備的視覺注意計算新方法，而且通過模擬人的注意行為，探索視覺系統注意機制的模式與成因，為腦科學特別是視覺科學基礎理論的研究提供算法支持，為多媒體內容的檢測、分類、識別、理解等套用領域提供解決方案，為我國心理學、腦科學、計算科學等交叉學科的發展添磚加瓦。本項目的成果中，我們以第一標註共發表了16篇論文，其中5篇文章為SCI期刊論文，11篇為EI檢索的會議論文。申請了2項發明專利，並培養了5名碩士研究生。
