基於三維視頻的人臉表情識別研究

《基於三維視頻的人臉表情識別研究》是依託北京工業大學，由胡永利擔任項目負責人的面上項目。

基本介紹

• 中文名：基於三維視頻的人臉表情識別研究
• 項目類別：面上項目
• 項目負責人：胡永利
• 依託單位：北京工業大學

項目摘要

基於圖像或視頻的人臉表情識別方法，由於三維信息的缺失，很難適應複雜光照、姿態的變化，在實際套用中受到限制。三維視頻能夠獲取全面的表情信息，為解決上述問題提供了新途徑，但目前基於三維信息的表情識別還存在許多問題需要研究，識別性能亟待提高。.本項目針對人臉表情識別問題，基於三維表情視頻數據，利用視頻序列包含的動態幾何和紋理信息，研究三維表情的特徵表示、提取和分類識別方法。主要研究內容包括：針對高維異構三維表情數據，建立統計形變模型，研究表情序列數據的時空對齊；在此基礎上研究和建立融合幾何和紋理信息的動態表情特徵表示模型，研究高維表情特徵的非線性流形降維方法；分析表情的動態時序變化規律，研究和構建動態貝葉斯網路模型用於三維表情識別。通過上述研究，力爭在三維表情識別的相關理論和關鍵技術上取得一定突破，並結合具體套用，實現一個基於三維視頻信息的能夠有效識別人臉表情的原型系統。

結題摘要

人臉表情識別一直是模式識別和計算機視覺領域的挑戰性問題。傳統基於圖像或視頻的表情識別研究，採用圖像處理等方法在表情形變特徵、紋理特徵和動態特徵的表示方面取得了很大的進展，並獲得了較好的識別結果。然而由於圖像或視頻數據本身缺乏三維信息，在處理光照、姿態、幾何形變等與三維表情相關的問題時遇到了很大困難。而隨著三維數據採集技術的快速發展和設備成本的不斷降低，三維人臉數據的獲取變得較為容易。三維視頻能提供人臉表情的三維形狀和紋理色彩及其動態變化信息，從而為上述問題的解決提供了全面豐富的數據。因此，基於三維信息的表情識別方法相對於基於二維圖像或視頻的方法具有很大的優勢，是人臉表情識別的發展方向，也是近年來表情識別的研究熱點。 本項目針對目前三維表情識別中的三維人臉數據表示、特徵提取、識別方法等關鍵問題，特別是三維表情序列數據的動態幾何和紋理特徵的表示問題，從三維表情數據的處理和配準對齊，基於形變模型的三維表情數據的表示模型，三維表情的幾何和紋理特徵表示和提取方法，以及三維表情的分類識別方法等方面進行了深入研究，在 三維表情識別的理論和關鍵技術上進行了探索，提出了若干有創新性的方法，主要包括：基於薄板樣條的三維表情數據的非剛性配準方法；基於雙線性形變模型的三維表情人臉表示方法；基於三維格線LBP的三維表情特徵表示方法；三維人臉表情的紋理特徵的流形表示方法；三維表情動態時序特徵的稀疏表示模型；多特徵融合的三維人臉表情分類識別方法。基於上述理論和方法，以BU4DFE資料庫為數據源，實現一個基於三維視頻人臉表情的識別原型系統。特別是，提出的基於序列約束的子空間聚類方法，在BU4DFE資料庫上的表情聚類取得了很高的性能，在不同噪聲水平下得到了小於4%的錯誤率。 項目的研究執行和實現了各項研究任務，完成了預定的研究目標，獲得了較好的研究成果。項目組共發表學術論文23篇，其中SCI論文12篇，EI檢索論文7篇；申請專利4項；培養研究生9名。代表性的成果發表在IEEE Transactions on Cybernetics，Signal Processing，Multimedia Tools and Applications等著名國際刊物和AAAI，ACCV等主流國際會議上。