表情人臉的視覺認知與智慧型計算

《表情人臉的視覺認知與智慧型計算》是依託電子科技大學,由蒲曉蓉擔任醒目負責人的面上項目。

基本介紹

• 中文名：表情人臉的視覺認知與智慧型計算
• 依託單位：電子科技大學
• 項目類別：面上項目
• 項目負責人：蒲曉蓉

項目摘要

本項目利用計算智慧型最新研究成果- - 連續吸引子神經網路（一種目前最可能仿真人類連續行為特徵的模型），探索人類識別表情人臉及其情感的基本原理，以期實現計算機對非理想採集條件和彈性形變下的人臉圖像以及情感變化的智慧型識別。重點研究神經網路中存在連續吸引子的條件和理論模型；連續吸引子與人類表情及情感的視覺認知感知機理之間的關聯，以及與真實世界生物特徵流形之間的關係；擬從情感計算的角度用多維情感空間刻畫人臉表情的語義特徵；利用連續吸引神經網路進行表情人臉和情感特徵的描述、識別和綜合等。並提出了相關研究內容和具體技術方案、路線。本項目研究將有助於進一步揭示人類對連續變化信號的神經視覺感知機制，促進構建符合人類認知與感知機理的智慧型人機互動系統。

結題摘要

基於項目任務書中所列研究任務和目標，在該項目經費資助下，本項目深入研究了遞歸神經網路中的幾個關鍵問題，探索研究了人類識別表情人臉及其情感的基本原理，研究了非理想採集條件（光照變化、局部遮擋等）和彈性形變下的人臉圖像檢測、跟蹤、識別以及人臉表情識別方法等。項目完成情況和主要成果簡述如下： 提出了LT神經元離散時間遞歸神經網路的競爭層模型CLM-方法。研究線性閾值神經元的離散遞歸神經網路的競爭層模型，網路的邊界屬性、全局吸引子和穩定性，以及該網路的動力學行為。提出了從連續到離散時間的遞歸細胞神經網路的競爭層模型，討論了遞歸細胞神經網路中存在競爭層模型屬性的充要條件，提出了該網路中競爭層模型疊代的新方法。 提出了符合人類視覺認知機理的、全局與局部特徵融合的人臉檢測與識別方法。提出了基於隱馬爾可夫的局部遮擋人臉識別方法，及類內子流形局部間隔對齊的人臉圖像判別方法，能有效降低因人臉圖像拍攝角度、姿態、光照、眼鏡和性別等因素導致的數據多模態或低維流形的高曲率對識別性能的影響。提出了基於有監督的局部子空間學習的連續頭部姿態估計新方法。結合粒子濾波預測跟蹤人臉，實現人臉特徵點的精確定位，能有效跟蹤複雜背景、惡劣光照和部分遮擋等條件下的人臉。提出了基於顏色與CLTP紋理特徵融合的對象跟蹤方法，能更穩定地跟蹤複雜背景中的運動對象。 研究了核方法原像問題的局部同構處理技術。提出了基於面部器官運動語法分析的人臉表情快速識別新方法。首先提取人臉表情變化過程中的局部動態和靜態特徵，再利用支撐向量機SVM識別人臉各器官的表情動作，最後構建基於面部器官的貝葉斯網路，根據各器官的表情綜合判別人臉表情。提出了基於序列特徵的隨機森林表情識別算法。針對表情圖像序列，提出了基於AAM模型結合LK跟蹤算法的序列表情特徵提取和隨機森林的表情分類方法。 開發完成一套視頻人臉實時跟蹤系統。在複雜背景、光照變化、目標快速移動、目標干擾等自然環境下，能實時跟蹤指定人臉，繪製目標移動路徑。可套用於視頻監控、目標自動跟蹤、海量視頻流中特定人物的活動路徑繪製等。開發完成了一台能依據實時採集的人臉、指紋和第二代身份證進行智慧型融合身份鑑別功能的“雙模態智慧型身份鑑別系統”產品原型樣機。