表情特徵提取是指對人臉的器官特徵、紋理區域和預定義的特徵點進行定位和提取。它是人臉表情識別中的核心步驟，是識別技術的關鍵，它決定著最終的識別結果，直接影響識別率的高低。
基本介紹
- 中文名：表情特徵提取
- 外文名：Expression feature extraction
- 類型：計算機科學
- 學科：跨學科
- 性質：特徵提取
- 用途：表情識別
介紹,方法,基於靜態圖像的特徵提取方法,基於動態圖像的特徵提取方法,
介紹
人臉特徵提取算法需要對人臉的器官特徵、紋理區域和預定義的特徵點進行定位和提取。人臉表情識別分為三個核心環節:人臉檢測、人臉表情特徵提取、人臉表情的情感分類。人臉被檢測定位後,根據人臉描繪方法不同採用不同的特徵提取方法進行面部表情信息的提取,然後根據提取的表情信息進行表情分類。人臉特徵提取是人臉表情識別中的核心步驟,是識別技術的關鍵,它決定著最終的識別結果,直接影響識別率的高低。國內外在人臉檢測方面已做了大量的研究,且已有相關的有效方法及成果報導,而對於表情特徵提取算法的研究還處於探索之中。雖然國內外研究人員已經提出了一些特徵提取的方法,但由於影響人臉表情識別性能的因素很多,如環境、光照、年齡、姿態、圖像解析度和成像噪聲等因素,因此特徵提取的方法亟待改進。
方法
表情特徵提取主要是採用數學方法，依靠計算機技術對人臉表情的數字圖像進行數據的組織和處理，提取表情特徵，去除非表情噪聲的方法。在某些情況下，特徵提取算法提取了圖像的主要特徵，客觀上降低了圖像的維數，因此這些特徵提取算法也具有特徵降維的作用。人臉表情的產生是一個很複雜的過程，如果不考慮心理和環境因素，呈現在觀察者面前的就是單純的肌肉運動，以及由此帶來的面部形體和紋理的變化。靜態圖像呈現的是表情發生時單幅圖像的表情狀態，動態圖像呈現的是表情在多幅圖像之間的運動過程。因此根據表情發生時的狀態和處理對象來區分，表情特徵提取算法大體分為基於靜態圖像的特徵提取方法和基於動態圖像的特徵提取方法。其中基於靜態圖像的特徵提取算法可分為整體法和局部法，基於動態圖像的特徵提取算法又分為光流法、模型法和幾何法。
基於靜態圖像的特徵提取方法
1、整體法
人臉表情依靠肌肉的運動來體現。人臉表情靜態圖像直觀地顯示了表情發生時人臉肌肉運動所產生的面部形體和紋理的變化。從整體上看，這種變化造成了面部器官的明顯形變，會對人臉圖像的全局信息帶來影響，因此出現了從整體角度考慮表情特徵的人臉表情識別算法。
整體法中的經典算法包括主元分析法（Principal Component Analysis,PCA）、獨立分量分析法（Indenpent Compondent Analysis，ICA）和線性判別分析法（Linear Discriminant Analysis，LDA）。其中PCA算法是一種無監督方法，其優點是不需要待處理樣本的類別信息，同時可以有效地處理高維數據。缺點是該方法處理數據時產生的協方差矩陣維數過高，影響了算法的運行。作為PCA算法的延伸，二維主元分析算法（2DPCA）在一定程度上解決了這一問題。ICA 算法也屬於無監督方法，可以提取像素間隱藏的信息，並且適合非高斯分布的數據處理，但是算法的實時性有待提高。LDA算法屬於有監督方法，其特點是充分地保留了樣本的類別結構。
2、局部法
靜態圖像上的人臉表情不僅有整體的變化，也存在局部的變化。面部肌肉的紋理、皺褶等局部形變所蘊含的信息，有助於精確地判斷表情的屬性。局部法的經典方法是Gabor小波法和LBP運算元法。Gabor小波在特徵提取方面具有良好的視覺特性和生物學背景。但是該算法需要計算不同尺度和方向的小波核函式，由此產生的高維特徵向量既不利於算法的實時處理，又在一定程度上造成了信息冗餘。和Gabor小波相比，LBP運算元法可以更有效地提取人臉表情特徵。但是LBP運算元產生的高維直方圖影響了算法的實時性，而且該算法產生的二值數據容易受到噪聲的干擾。近年來這兩種算法在人臉表情識別領域仍有不同程度的套用，出現了相關的改進算法以及考慮人臉紋理細節特徵的算法。
基於動態圖像的特徵提取方法
動態圖像與靜態圖像的不同之處在於：動態圖像反映了人臉表情發生的過程。因此動態圖像的表情特徵主要表現在人臉的持續形變和面部不同區域的肌肉運動上。目前基於動態圖像的特徵提取方法主要分為光流法、模型法和幾何法。
1、光流法
光流法是反映動態圖像中不同幀之間相應物體灰度變化的方法。早期的人臉表情識別算法多採用光流法提取動態圖像的表情特徵，這主要在於光流法具有突出人臉形變、反映人臉運動趨勢的優點。因此該算法依舊是近年來研究動態圖像表情識別的重要方法。
首先採用連續幀之間的光流場和梯度場，分別表示圖像的時空變化，實現每幀人臉圖像的表情區域跟蹤；然後通過特徵區域運動方向的變化，表示人臉肌肉的運動，進而對應不同的表情。在綜合了人臉生物學信息以後， K Anderson首先使用改進的Ratio Template算法實現對人臉區域的檢測；然後使用光流法計算人臉的多渠道灰度模型，完成對人臉區域的跟蹤；最後用SVM算法實現了表情分類。
2、模型法
人臉表情識別中的模型法是指對動態圖像的表情信息進行參數化描述的統計方法。常用算法主要包括主動形狀模型法（ASM）和主動外觀模型法（AAM）。兩種算法都可分為形狀模型和表觀模型兩部分。就表觀模型而言，ASM反映的是圖像的局部紋理信息，而AAM反映的是圖像的全局紋理信息。模型法可以通過動態圖像的形狀和紋理信息來反映人臉表情的整體和局部特徵。但是在一般情況下，該方法需要依靠人工標註的方式實現人臉特徵點的初始化，從而在一定程度上影響了算法的自動化程度。模型法的另一個缺點在於模型的構建方式較為複雜。對模型法而言，基於ASM和AAM的算法改進是其近期發展的主要特點。
3、幾何法
在表情特徵提取方法中，研究者考慮到表情的產生與表達在很大程度上是依靠面部器官的變化來反映的。人臉的主要器官及其褶皺部分都會成為表情特徵集中的區域。因此在面部器官區域標記特徵點，計算特徵點之間的距離和特徵點所在曲線的曲率，就成為了採用幾何形式提取人臉表情的方法。常規方案是將該方法套用在靜態圖像的特徵提取上，而且一般的觀點認為幾何法只能勾勒出人臉的整體形變，在局部信息的提取上還存在著不足。然而近幾年，這一方法卻在動態圖像的特徵提取上得到廣泛套用。原因有二：首先，動態圖像通過人臉特徵點在每幀中的變化反映了表情的完整過程，為幾何計算提供了豐富的信息；其次，從動態圖像中提取的幾何特徵對應著人臉的不同表情區域，這些特徵適合用於動作單元的識別。
