基於稀疏表征的三維人臉表情識別研究

《基於稀疏表征的三維人臉表情識別研究》是依託浙江大學，由王躍明擔任項目負責人的青年科學基金項目。

基本介紹

• 中文名：基於稀疏表征的三維人臉表情識別研究
• 依託單位：浙江大學
• 項目負責人：王躍明
• 項目類別：青年科學基金項目

項目摘要

人臉表情的計算機自動識別是智慧型人機互動中的一項重要技術，當前基於二維圖像和視頻的識別技術因無法有效地提取表情引起的臉部三維變形特徵而難以滿足套用的需求，三維人臉為提取這種特徵提供了天然的便利，因此，三維人臉表情識別有望克服二維圖像和視頻中表情識別的困難，具有重要的研究與套用價值。而近幾年有關稀疏表征的理論和套用研究表明，稀疏表征具有強大的信號表示能力，並能有效地提取信號的內在語義信息，基於稀疏表征研究三維人臉表情識別的新模型、探索表情特徵的變化規律，有望實現準確、穩定的識別性能，從而具有重要的理論價值。本項目緊緊圍繞表情三維變形特徵提取這一問題，研究語義對應的一致性三維人臉格線重構稀疏模型，以有效地表達人臉三維形狀，在此基礎上，研究兩種分解表情變形的稀疏模型，基於分解出的表情變形信息深入挖掘表情變化的內在規律，最終實現準確的識別算法，並建立自動的表情識別原型系統。

結題摘要

人臉表情的計算機自動識別是智慧型人機互動中的一項重要技術，當前基於二維圖像和視頻的識別技術因無法有效地提取表情引起的臉部三維變形特徵而難以滿足套用的需求，三維人臉為提取這種特徵提供了天然的便利，因此，三維人臉表情識別有望克服二維圖像和視頻中表情識別的困難，具有重要的研究與套用價值。而近幾年有關稀疏表征的理論和套用研究表明，稀疏表征具有強大的信號表示能力，並能有效地提取信號的內在語義信息，基於稀疏表征研究三維人臉表情識別的新模型、探索表情特徵的變化規律，有望實現準確、穩定的識別性能，從而具有重要的理論價值。本項目緊緊圍繞表情三維變形特徵提取這一問題， 1 提出了一種稀疏變形方法(Sparse Facial Deformable Model)，該方法可以在三維參考人臉模型和輸入模型間建立稠密的、符合人體測量學標準的頂點對應關係。該模型主要包含兩部分，一是幾何形狀約束，採用變形方法實現，保證輸出人臉與輸入人臉形狀儘可能相似，而拓撲結構與參考模型一致；二是對應關係約束，該約束基於一個滿足一致性網路要求的字典，採用稀疏模型重構變形結果，逐步逼近一致性網路要求。兩個約束條件通過疊代的方式求解，疊代過程採用自適應的參數設定，從而使輸出結果達到形狀不變、頂點對應。 2 提出了一種基於聯合字典的表情殘差提取模型(Correlated-dictionary based Expression Residual Model, CERM)，可以在單張表情人臉上提取表情引起的曲面變形。CERM學習一個聯合字典，該字典建立表情人臉與殘差分量之間的關聯，測試時對單個輸入表情人臉進行稀疏編碼，通過共享編碼的方式，重構殘差分量。 3. 收集了公開的知名三維人臉資料庫，包括FRGC, BU-3DFE, 3D_RMA, BJUT，MSU，PRISM等。此外，課題組租借三維採集設備，採集了一個小型的三維人臉表情庫，包括40人，共360個模型，每個人9個三維數據，其中3箇中性人臉、2個微笑、2個皺眉、2個驚訝表情。最後，我們在BU-3DFE和自己採集的資料庫上全面測試了稀疏變形模型，表情殘差提取模型、及基於殘差的表情識別，對比實驗表明，通過建立一致性格線提取三維人臉形狀信號、然後基於聯合字典提取表情殘差、最後基於表情殘差實現表情識別的框架，可以獲得更優越的表情識別性能。