《基於人臉重建的表情不變三維人臉識別研究》是依託南京航空航天大學，由周大可擔任項目負責人的面上項目。
基本介紹
- 中文名：基於人臉重建的表情不變三維人臉識別研究
- 項目類別：面上項目
- 項目負責人：周大可
- 依託單位：南京航空航天大學
項目摘要,結題摘要,
項目摘要
三維（3D）人臉識別是當前模式識別、圖像處理和計算機視覺領域的一個研究熱點，在安全、監控、法律、金融等領域有著廣泛的套用前景。但在現有的研究中，大多採用雷射掃瞄器等主動測距成像設備以獲得較高精度的人臉3D數據，而事實上這些設備很難套用於實際的人臉識別系統；此外，表情變化會改變3D人臉的局部形狀，提取穩健的3D人臉特徵並實現有效匹配也非常困難。針對以上問題，本項目試圖將人臉重建和3D人臉識別綜合起來加以研究，利用三維重建獲得表情穩健的人臉形狀信息，並在此基礎上探討表情不變3D人臉識別的理論和方法。該項目的成功實施，對於促進人臉識別技術的發展和套用，豐富圖像理解與識別的理論和方法，都具有積極的意義。該項目的難點和關鍵在於：表情穩健的人臉三維重建技術；表情不變的3D人臉組合特徵提取與匹配技術；考慮表情因素的3D+2D識別的決策級融合技術。
結題摘要
三維人臉重建與識別是近年來計算機視覺和模式識別領域的一個研究熱點，在安全、監控、法律、金融等領域有著廣泛的套用前景。我們在人臉數據預處理、三維人臉重建和表情不變三維人臉識別等方面開展了深入研究，研究內容主要包括：(1) 人臉數據預處理方面。我們在疊代反向投影超解析度重建算法基礎上，檢測投影誤差的局域變化，提出一種自適應投影誤差校正策略。結合紋理特徵，我們給出一種改進Mean shift算法，有效地提高了人臉跟蹤的穩健性。在主動形狀模型（ASM）基礎上，我們定義一組局部圖像描述運算元，利用KNN進行最優特徵提取，使用基於最優特徵的ASM進行特徵點定位，提出一種基於改進ASM的三維人臉對應方法。(2)三維人臉重建方面。我們將壓縮感知理論引入形變模型方法的建模過程中，根據測試樣本在原型樣本庫上的稀疏表示係數，來篩選原型樣本並構建形變模型。我們定義包含面部顯著特徵點的人臉邊緣圖，並套用於形變模型方法，將人臉三維重建的3D→2D匹配問題的搜尋空間從兩維降至一維。為了處理表情變化，我們在稀疏形變模型法的基礎上，提出利用明暗恢復算法（SFS）進行人臉形狀修正。我們提出“由粗到精”的三維人臉重建方法，根據顯著特徵點確定三維人臉的大體形狀，然後利用非顯著特徵點對模型的細節進行進一步的細化。(3)表情不變三維人臉識別方面。我們提出一種基於測地線採樣的三維表情人臉識別方法，利用測地線距離具有的良好幾何不變性，提取穩健的三維人臉特徵。在此基礎上，利用人臉的先驗知識，根據測地線距離構建三維人臉的彈性圖模型，提出基於彈性圖匹配的表情不變三維人臉識別方法。我們結合三維人臉重建，提出基於特徵分塊的三維人臉重建和識別方法，分別匹配各重建分塊，利用決策級融合策略得出識別結果。結合基於邊緣圖的形變模型法，我們提出一種基於三維重建的3D+2D人臉識別方法，依據輸入人臉圖像，利用重建模型合成相應的2D正面圖像，採用加權融合策略實現多模態人臉識別。該項目完成情況良好，取得了較好的成果，共完成核心期刊論文17篇，其中SCI、EI收錄10篇，申請專利6項，培養碩士生11名, 編寫人臉重建軟體實驗平台1套。該項目的成功實施，對於促進人臉重建和識別技術的發展和套用，豐富圖象理解的理論和方法，都具有積極的意義。
