生物認知機制和特性啟發的視覺計算模型與方法研究

《生物認知機制和特性啟發的視覺計算模型與方法研究》是依託南京理工大學，由楊健擔任項目負責人的重大研究計畫。

基本介紹

• 中文名：生物認知機制和特性啟發的視覺計算模型與方法研究
• 項目類別：重大研究計畫
• 項目負責人：楊健
• 依託單位：南京理工大學

項目摘要

視覺是人類感知外部世界信息的主渠道。當前，圖像、視頻等視覺數據呈現指數級增長，傳統的計算機視覺理論與方法面臨著前所未有、日益嚴峻的挑戰。借鑑人類處理複雜信息的認知機制和認知特性去面對挑戰是一種必然趨勢。本項目將研究生物認知機制和認知特性啟發的視覺計算模型與方法。在生物認知機制啟發的方法方面，重點研究大腦視覺信息處理的前饋和反饋模型，包括視覺腹側通路的前饋模型，V1區細胞的遞歸模型，視覺腹側通路的層次化遞歸模型，注意力的前饋與反饋模型。在生物認知特性啟發的方法方面，藉助於稀疏表示、深層學習等工具，重點研究視覺顯著性計算模型、視覺信息的局部表示模型、視覺信息的穩健分類方法。以上兩個方面的研究將相互補充和借鑑。最後，將以上研究成果套用于越野環境下無人駕駛車輛環境感知中的兩個極具挑戰性的問題：地表紋理分類和水面及凹障礙的檢測，為大幅度提升無人駕駛車輛的環境感知能力提供關鍵技術支撐。

結題摘要

本課題針對計算機視覺理論與方法面臨的挑戰，借鑑人類處理複雜信息的認知機制和認知特性，重點研究了生物認知機制和認知特性啟發的視覺計算模型與方法。在生物認知機制啟發方面，提出了一些有效的計算模型，包括基於反饋連線的圖像分類、場景標註模型和語音識別模型，基於層次化特徵的圖像顯著性檢測模型，基於紋理高階統計特性的圖像分類模型，基於多通路深度融合的人臉分割模型等等，基於分支的相機6自由度參數估計得模型，取得了良好的效果。同時，為了更深入的理解腦的信息處理的機制，研發更有效地深度學習模型，我們以神經網路模型和功能性核磁共振成像（fMRI）為工具，分別研究了腦的記憶/決策機制和語言表示機制。這些工作表明腦科學與深度學習的結合能有效推動各自領域的發展。 在生物認知特性啟發方面，針對視覺顯著性計算，提出了一種雙低秩矩陣修復模型來完成多種顯著性方法的融合；該方法重在研究如何用兩個低秩矩陣來分別刻畫顯著性目標和背景。針對視覺信息的穩健表示，提出了基於核範數的矩陣回歸方法並給出了快速的ADMM算法求解該模型，該方法旨在解決圖像識別中存在的複雜結構噪聲問題。在此基礎上，提出了一種穩健的矩陣回歸表示方法，該方法使用核範數來刻畫殘差圖像並引入對殘差矩陣奇異值的權重，進而更好的刻畫了圖像矩陣的結構屬性。傳統範數描述視覺數據內部結構的能力有限，為了結合結構化稀疏和核範數各自的優勢，提出了一個樹形結構的核範數近似估計（TSNA）模型,並套用擴展的交替方向乘子算法（EADMM）求該模型。此外，也證明了一些主流算法是所提出模型的特殊形式。藉助核範數的刻畫矩陣空間結構的優勢，提出了一種結構化的基於核範數的二維主分量分析圖像特徵抽取方法。針對神經網路模型，提出了一種存儲和計算高效的遞歸神經網路方法，該方法利用基於二維表示的參數共享思想，建立了一種新的LightRNN結構及其疊代算法。所提出的LightRNN相比於以前的模型參數量減少了上百倍，同時得到了更好的精度。除此之外，面向視覺計算問題我們也提出了一系列表示學習方法。