人臉圖像識別方法和系統

《人臉圖像識別方法和系統》是深圳市中控生物識別技術有限公司於2010年10月25日申請的專利，該專利的公布號為CN102419819A，授權公布日為2012年4月18日，發明人是車全宏、李治農、陳書楷。

《人臉圖像識別方法和系統》涉及一種人臉圖像識別方法和系統，為解決技術識別速度慢和識別率低問題，其方法是先建立用戶模板庫，再進行識別；所述用戶模板庫是在登記用戶時，用戶變換N種姿態，在每一種姿態下採集三幀圖像並提取出特徵模板，模板排序原則：A.選出的模板儘可能代表未選擇出的模板，即它與其他的候選模板有最大的相似性；B.選出的模板儘可能遠離已選擇出來的模板，即它與已選模板保持有最小的相似性。其系統使用嵌入式微處理器作為系統的中央處理單元、CMOS感測器用於採集人臉圖像，並輔以人臉的紅外照明裝置，採用窄帶紅外濾光片過濾可見光。其能夠有效解決識別率低和識別速度慢的問題，並且速度和識別率均能達到商業化套用水平。系統具有能任何光線條件下的使用，能排除能掉環境光的干擾，可靠性好，識別率和識別速度都達到令人滿意水平的優點。

2020年7月14日，《人臉圖像識別方法和系統》獲得第二十一屆中國專利獎優秀獎。

（概述圖為《人臉圖像識別方法和系統》摘要附圖）

基本介紹

• 中文名：人臉圖像識別方法和系統
• 申請人：深圳市中控生物識別技術有限公司
• 申請日：2010年10月25日
• 申請號：2010105172326
• 公布號：CN102419819A
• 公布日：2012年4月18日
• 發明人：車全宏、李治農、陳書楷
• 地址：廣東省深圳市龍崗區坂田華為基地五和大道北中控大廈
• Int. Cl.：G06K9/62(2006.01)I
• 類別：發明專利

專利背景

2010年前，用於個人身份識別的人臉圖像識別方法各異，但是這些方法都普遍存在識別率低、圖像處理和識別速度慢的問題。這使得人臉識別技術難於套用到嵌入式系統中。

發明內容

專利目的

《人臉圖像識別方法和系統》的目的在於提出並實現了一種能夠在大幅提高處理速度的同時，保持較好識別率的人臉圖像識別方法；該發明目的還在於提供用於實施該方法的人臉圖像識別系統。

技術方案

《人臉圖像識別方法和系統》人臉圖像識別方法是先建立用戶模板庫，再按如下步驟進行識別：1）採集待識別人臉圖像，2）提取待識別模板，3）用戶人臉識別；為了實現一個完整的人臉身份識別系統，需要提供用戶人臉註冊和人臉識別兩個主要功能。

所述用戶人臉識別是：把待識別模板同用戶模板庫中的每個用戶的第一個模板對比，得到所有相似性分數大於第一下限閾值的用戶列表A1，按相似性分數從大到小排列；如果A1為空則識別失敗，如果A1中第一個用戶相似性分數大於上限閾值，則識別成功返回對套用戶，如果不，則進行下一步：把待識別模板同A1中每個用戶的第2-5個模板比對，得到所有分數大於第二下限閾值的用戶列表A2，按相似性分數從大到小排列；如果A2為空則識別失敗，如果A2中第一個用戶相似性分數大於上限閾值，則識別成功返回對套用戶，如果不，則進行下一步：把待識別模板同A2中每個用戶的第6-15模板對比，得到所有相似性分數大於識別閾值的用戶列表A3，如果A3為空，則識別失敗；按相似性分數從大到小排列，識別功能返回對套用戶；

所述用戶模板庫是在登記用戶時，用戶變換5種姿態，在每一種姿態下採集三幀圖像並提取出特徵模板，得到總共15個特徵模板，並通過從候選模板集中順序選擇出模板的方法排序，排序基於以下兩個原則：A.選出的模板儘可能代表未選擇出的模板，即它與其他的候選模板有最大的相似性；B.選出的模板儘可能遠離已選擇出來的模板，即它與已選模板保持有最小的相似性；

所述上限閾值大於識別閾值，識別閾值大於第二下限閾值，第二下限閾值大於第一下限閾值。其具有能夠在大幅提高處理速度的同時，保持較好識別率的優點。

作為最佳化，識別成功後，如果待識別模板與用戶相似性分數大於比上限閾值更大的一個設定學習閾值時，則把這次現場採集的模板作為一個待學習模板按如下步驟進行學習：向用戶模板庫傳入待學習模板，把待學習模板與用戶登記的模板組成新的待排序模板，排序：如果最後一個模板是待學習模板，則學習失敗返回對套用戶，如果不，則去掉最後一個模板，存入資料庫，學習成功返回對套用戶。

作為最佳化，所述設定學習閾值為100。

作為最佳化，所述第一下限閾值為43，上限閾值為90，第二下限閾值為60，識別閾值為80。

作為最佳化，所述15個特徵模板的排序方法為：選擇第一個模板，使得其與其他模板的相似性分數均值最大，然後把它移到已選模板中，再選擇第二模板，使得其與其他模板的相似性分數均值最大，然後把它移到已選模板中，再選擇第三模板，使得其與其他模板的相似性分數均值最大，然後把它移到已選模板中，依次類推直到沒有候選模板。

作為最佳化，所選模板與其他模板的相似性分數依如下公式計算而得：C＝a1×c1-a2×c2；

式中：c1表示該模板與其他候選模板的相似性分數均值，c2表示該模板與已選模板的相似性分數均值，a1、a2為兩個參數。

作為最佳化，參數a1取值為5/9，參數a2取值為4/9。

作為最佳化，所述用戶模板庫通過下列步驟建成：1）採集用戶人臉圖像，2）提取用戶特徵模板，3）登記用戶；

所述1）採集待識別人臉圖像和1）採集用戶人臉圖像是：使用紅外LED照明光源對被採集人臉進行照射，在採集過程中還對可見光進行過濾；

所述2）提取待識別模板和2）提取用戶特徵模板的步驟依次是：1）檢測人臉；2）定位眼睛位置；3）正規化人臉圖像；4）評估人臉圖像質量；5）Gabor特徵提取。

作為最佳化，所述1）檢測人臉是：在積分圖上檢測harr特徵，然後使用AdaBoost算法進行人臉檢測；所述2）定位眼睛位置是：通過人臉的對稱性和人眼位置的灰度較深的特性，定位出圖片中人臉上左右眼的位置；所述3）正規化人臉圖像是：首先根據左右眼的位置，對圖像進行旋轉，使得左右眼處於同一水平線，然後縮放整個圖像，把左右眼的位置歸一化到一個固定的寬度；進一步，根據眼睛的位置，按照固定的寬度和高度截取出

整個人臉的圖像；最後對圖像進行局部增強，消除圖像中因為光照不均等產生的亮度差異；最後獲取人臉關鍵部位的圖像；所述4）評估人臉圖像質量是：在上面對圖像進行歸一化的處理過程中，同時計算出圖像的銳度、對比度和灰度級，並且，這三個同時刻畫了圖像質量的指標只有超過事先設定的各自閾值才進行下一步的處理；所述5）Gabor特徵提取是：我們使用N個頻段、M個方向的一組二維Gabor小波基對歸一化後的圖像進行濾波，從而得到圖像在這一組小波基下的回響能量，對回響能量進行歸一化處理後，得到最後的人臉特徵模板。

作為最佳化，所述獲取人臉關鍵部位的圖像是：取左右眼距離為75個像素，從上移35個像素、左移38個像素的位置開始，取寬度為151，高度為151的圖像；

所述N≥8、M≥16。

用於實現《人臉圖像識別方法和系統》所述方法的人臉圖像識別系統是使用嵌入式微處理器作為系統的中央處理單元、中央處理單元連線採集人臉圖像的CMOS感測器，並輔以人臉的紅外照明裝置實現任何光線條件下的使用功能，採用窄帶紅外濾光片過濾可見光來排除環境光的干擾。其是一個完整、可靠的人臉識別系統，其識別率和識別速度都達到令人滿意的水平，可以套用到考勤、門禁等系統中。採集用戶的人臉圖像方面，一個好的系統，其採集的圖像應該儘可能清晰、儘可能排除干擾和噪音，因為這對識別的準確性非常重要。考慮到一個真實套用系統的使用條件，即該系統可能會被安裝在各種光照環境下，甚至在黑夜中使用，因此我們不能依賴於環境能夠提供合適的、均勻的照明。基於這個原因，《人臉圖像識別方法和系統》中專門設計紅外LED照明光源來解決這個問題，同時由於紅外線對使用者即不會構成危害，因為其不可見性，也不會對使用者造成干擾。

改善效果

《人臉圖像識別方法和系統》人臉圖像識別方法進行用戶登記和識別，能夠有效解決識別率低和識別速度慢的問題，並且能夠在大幅提高處理速度的同時，其速度和識別率均能達到商業化套用水平。

《人臉圖像識別方法和系統》人臉圖像識別系統具有能任何光線條件下的使用，能排除能掉環境光的干擾，可靠性好，識別率和識別速度都達到令人滿意水平的優點。

附圖說明

圖1是《人臉圖像識別方法和系統》人臉圖像識別系統的原理示意圖；

圖2是《人臉圖像識別方法和系統》人臉圖像識別系統的主要流程示意圖；

圖3是《人臉圖像識別方法和系統》人臉圖像識別方法的模板提取流程示意圖；

圖4是《人臉圖像識別方法和系統》人臉圖像識別方法的用戶登記流程示意圖；

圖5是《人臉圖像識別方法和系統》人臉圖像識別方法的模板排序流程示意圖；

圖6是《人臉圖像識別方法和系統》人臉圖像識別方法的用戶識別流程示意圖；

圖7是《人臉圖像識別方法和系統》人臉圖像識別方法的人臉模板自學習流程示意圖。

附圖說明

圖1	圖2	圖3	圖4
圖5	圖6	圖7	/

技術領域

《人臉圖像識別方法和系統》設計一種生物特徵識別方法，特別是涉及一種人臉圖像識別方法和系統。

權利要求

1.一種人臉圖像識別方法，其特徵在於先建立用戶模板庫，再按如下步驟進行識別：1）採集待識別人臉圖像，2）提取待識別模板，3）用戶人臉識別；

所述用戶人臉識別是：把待識別模板同用戶模板庫中的每個用戶的第一個模板對比，得到所有相似性分數大於第一下限閾值的用戶列表A1，按相似性分數從大到小排列；如果A1為空則識別失敗，如果A1中第一個用戶相似性分數大於上限閾值，則識別成功返回對套用戶，如果不，則進行下一步：把待識別模板同A1中每個用戶的第2-5個模板比對，得到所有分數大於第二下限閾值的用戶列表A2，按相似性分數從大到小排列；如果A2為空則識別失敗，如果A2中第一個用戶相似性分數大於上限閾值，則識別成功返回對套用戶，如果不，則進行下一步：把待識別模板同A2中每個用戶的第6-15模板對比，得到所有相似性分數大於識別閾值的用戶列表A3，如果A3為空，則識別失敗；按相似性分數從大到小排列，識別功能返回對套用戶；

所述用戶模板庫是在登記用戶時，用戶變換5種姿態，在每一種姿態下採集三幀圖像並提取出特徵模板，得到總共15個特徵模板，並通過從候選模板集中順序選擇出模板的方法排序，排序基於以下兩個原則：A.選出的模板儘可能代表未選擇出的模板，即它與其他的候選模板有最大的相似性；B.選出的模板儘可能遠離已選擇出來的模板，即它與已選模板保持有最小的相似性；

所述上限閾值大於識別閾值，識別閾值大於第二下限閾值，第二下限閾值大於第一下限閾值。

2.根據權利要求1所述人臉圖像識別方法，其特徵在於識別成功後，如果待識別模板與用戶相似性分數大於比上限閾值更大的一個設定學習閾值時，則把這次現場採集的模板作為一個待學習模板按如下步驟進行學習：向用戶模板庫傳入待學習模板，把待學習模板與用戶登記的模板組成新的待排序模板，排序：如果最後一個模板是待學習模板，則學習失敗返回對套用戶，如果不，則去掉最後一個模板，存入資料庫，學習成功返回對套用戶。

3.根據權利要求2所述人臉圖像識別方法，其特徵在於所述設定學習閾值為100。

4.根據權利要求1所述人臉圖像識別方法，其特徵在於所述第一下限閾值為43，上限閾值為90，第二下限閾值為60，識別閾值為80。

5.根據權利要求1或2或3或4所述人臉圖像識別方法，其特徵在於所述15個特徵模板的排序方法為：選擇第一個模板，使得其與其他模板的相似性分數均值最大，然後把它移到已選模板中，再選擇第二模板，使得其與其他模板的相似性分數均值最大，然後把它移到已選模板中，再選擇第三模板，使得其與其他模板的相似性分數均值最大，然後把它移到已選模板中，依次類推直到沒有候選模板。

6.根據權利要求5所述人臉圖像識別方法，其特徵在於所選模板與其他模板的相似性分數依如下公式計算而得：

C＝a1×c1-a2×c2；

式中：c1表示該模板與其他候選模板的相似性分數均值，c2表示該模板與已選模板的相似性分數均值，a1、a2為兩個參數。

7.根據權利要求6所述人臉圖像識別方法，其特徵在於參數a1取值為5/9，參數a2取值為4/9。

8.根據權利要求1或2或3或4所述人臉圖像識別方法，其特徵在於所述用戶模板庫通過下列步驟建成：1）採集用戶人臉圖像，2）提取用戶特徵模板，3）登記用戶；

所述1）採集待識別人臉圖像和1）採集用戶人臉圖像是：使用紅外LED照明光源對被採集人臉進行照射，在採集過程中還對可見光進行過濾；

所述2）提取待識別模板和2）提取用戶特徵模板的步驟依次是：1）檢測人臉；2）定位眼睛位置；3）正規化人臉圖像；4）評估人臉圖像質量；5）Gabor特徵提取。

9.根據權利要求8所述人臉圖像識別方法，其特徵在於所述1）檢測人臉是：在積分圖上檢測harr特徵，然後使用AdaBoost算法進行人臉檢測；所述2）定位眼睛位置是：通過人臉的對稱性和人眼位置的灰度較深的特性，定位出圖片中人臉上左右眼的位置；所述3）正規化人臉圖像是：首先根據左右眼的位置，對圖像進行旋轉，使得左右眼處於同一水平線，然後縮放整個圖像，把左右眼的位置歸一化到一個固定的寬度；進一步，根據眼睛的位置，按照固定的寬度和高度截取出整個人臉的圖像；最後對圖像進行局部增強，消除圖像中因為光照不均等產生的亮度差異；最後獲取人臉關鍵部位的圖像；所述4）評估人臉圖像質量是：在上面對圖像進行歸一化的處理過程中，同時計算出圖像的銳度、對比度和灰度級，並且，這三個同時刻畫了圖像質量的指標只有超過事先設定的各自閾值才進行下一步的處理；所述5）Gabor特徵提取是：我們使用N個頻段、M個方向的一組二維Gabor小波基對歸一化後的圖像進行濾波，從而得到圖像在這一組小波基下的回響能量，對回響能量進行歸一化處理後，得到最後的人臉特徵模板。

10.根據權利要求9所述人臉圖像識別方法，其特徵在於所述獲取人臉關鍵部位的圖像是：取左右眼距離為75個像素，從上移35個像素、左移38個像素的位置開始，取寬度為151，高度為151的圖像；

所述N≥8、M≥16。

11.用於實現權利要求1所述方法的人臉圖像識別系統，其特徵在於使用嵌入式微處理器作為系統的中央處理單元、中央處理單元連線採集人臉圖像的CMOS感測器，並輔以人臉的紅外照明裝置實現任何光線條件下的使用功能，採用窄帶紅外濾光片過濾可見光來排除環境光的干擾。

實施方式

如圖2-7所示，《人臉圖像識別方法和系統》人臉圖像識別方法是先建立用戶模板庫，再按如下步驟進行識別：1）採集待識別人臉圖像，2）提取待識別模板，3）用戶人臉識別；

所述用戶人臉識別是：把待識別模板同用戶模板庫中的每個用戶的第一個模板對比，得到所有相似性分數大於43的用戶列表A1，按相似性分數從大到小排列；如果A1為空則識別失敗，如果A1中第一個用戶相似性分數大於上限閾值90，則識別成功返回對套用戶，如果不，則進行下一步：把待識別模板同A1中每個用戶的第2-5個模板比對，得到所有分數大於60的用戶列表A2，按相似性分數從大到小排列；如果A2為空則識別失敗，如果A2中第一個用戶相似性分數大於上限閾值90，則識別成功返回對套用戶，如果不，則進行下一步：把待識別模板同A2中每個用戶的第6-15模板對比，得到所有相似性分數大於閾值80的用戶列表A3，如果A3為空則識別失敗，按相似性分數從大到小排列，識別功能返回對套用戶；

所述用戶模板庫是在登記用戶時，用戶變換5種姿態，在每一種姿態下採集三幀圖像並提取出特徵模板，得到總共15個特徵模板，並通過從候選模板集中順序選擇出模板的方法排序，排序基於以下兩個原則：A.選出的模板儘可能代表未選擇出的模板，即它與其他的候選模板有最大的相似性；B.選出的模板儘可能遠離已選擇出來的模板，即它與已選模板保持有最小的相似性。

識別成功後，如果待識別模板與用戶相似性分數大於比所述上限閾值90更大的一個設定閾值100時，則把這次現場採集的模板作為一個待學習模板按如下步驟進行學習：向用戶模板庫傳入待學習模板，把待學習模板與用戶登記的模板組成新的待排序模板，排序：如果最後一個模板是待學習模板，則學習失敗返回對套用戶，如果不，則去掉最後一個模板，存入資料庫，學習成功返回對套用戶。

所述15個特徵模板的排序方法為：選擇第一個模板，使得其與其他模板的相似性分數均值最大，然後把它移到已選模板中，再選擇第二模板，使得其與其他模板的相似性分數均值最大，然後把它移到已選模板中，再選擇第三模板，使得其與其他模板的相似性分數均值最大，然後把它移到已選模板中，依次類推直到沒有候選模板。

所選模板與其他模板的相似性分數依如下公式計算而得：C＝a1×c1-a2×c2；

式中：c1表示該模板與其他候選模板的相似性分數均值，c2表示該模板與已選模板的相似性分數均值，a1、a2為兩個參數；其中參數a1取值為5/9，參數a2取值為4/9。

所述用戶模板庫通過下列步驟建成：1）採集用戶人臉圖像，2）提取用戶特徵模板，3）登記用戶；

所述1）採集待識別人臉圖像和1）採集用戶人臉圖像是：使用紅外LED照明光源對被採集人臉進行照射，在採集過程中還對可見光進行過濾；

所述2）提取待識別模板和2）提取用戶特徵模板的步驟依次是：1）檢測人臉；2）定位眼睛位置；3）正規化人臉圖像；4）評估人臉圖像質量；5）Gabor特徵提取。

所述1）檢測人臉是：在積分圖上檢測harr特徵，然後使用AdaBoost算法進行人臉檢測；所述2）定位眼睛位置是：通過人臉的對稱性和人眼位置的灰度較深的特性，定位出圖片中人臉上左右眼的位置；所述3）正規化人臉圖像是：首先根據左右眼的位置，對圖像進行旋轉，使得左右眼處於同一水平線，然後縮放整個圖像，把左右眼的位置歸一化到一個固定的寬度；進一步，根據眼睛的位置，按照固定的寬度和高度截取出整個人臉的圖像；最後對圖像進行局部增強，消除圖像中因為光照不均等產生的亮度差異；最後獲取人臉關鍵部位的圖像；所述4）評估人臉圖像質量是：在上面對圖像進行歸一化的處理過程中，同時計算出圖像的銳度、對比度和灰度級，並且，這三個同時刻畫了圖像質量的指標只有超過事先設定的各自閾值才進行下一步的處理；所述5）Gabor特徵提取是：我們使用N個頻段、M個方向的一組二維Gabor小波基對歸一化後的圖像進行濾波，從而得到圖像在這一組小波基下的回響能量，對回響能量進行歸一化處理後，得到最後的人臉特徵模板。所述獲取人臉關鍵部位的圖像是：取左右眼距離為75個像素，從上移35個像素、左移38個像素的位置開始，取寬度為151，高度為151的圖像；所述N≥8、M≥16。

更具體是：為了實現一個完整的人臉身份識別系統，需要提供用戶人臉註冊和人臉識別兩個主要功能。

登記過程，是把採集的人臉圖像提取特徵模板（生物統計學biometrics中，術語“模板“template就是指的提取出來的生物特徵）後，保存到資料庫中；而比對過程，則是把採集的人臉圖像提取特徵模板後，與登記時存到資料庫中的模板進行逐一比對，直到找到匹配的模板。

1、採集人臉圖像

這兩個功能的關鍵，是採集用戶的人臉圖像，並從該圖像提取出人臉的特徵。採集

用戶的人臉圖像方面，一個好的系統，其採集的圖像應該儘可能清晰、儘可能排除干擾和噪音，因為這對識別的準確性非常重要。考慮到一個真實套用系統的使用條件，即該系統可能會被安裝在各種光照環境下，甚至在黑夜中使用，因此我們不能依賴於環境能夠提供合適的、均勻的照明。基於這個原因，《人臉圖像識別方法和系統》中專門設計紅外LED照明光源來解決這個問題，同時由於紅外線對使用者即不會構成危害，因為其不可見性，也不會對使用者造成干擾。

2、提取特徵模板

從原始圖像提取特徵模板的過程，通常是生物特徵識別技術最關鍵的一個部分，人臉識別技術也是如此。《人臉圖像識別方法和系統》中，我們實現如下一個提取特徵流程，能夠快速、有效地提取出人臉的特徵模板。

1）檢測人臉：在積分圖上檢測harr特徵，然後使用AdaBoost算法進行人臉檢測；

2）定位眼睛位置：通過人臉的對稱性和人眼位置的灰度較深的特性，定位出圖片中人臉上左右眼的位置；

3）正規化人臉圖像：我們首先根據左右眼的位置，對圖像進行旋轉，使得左右眼處於同一水平線，然後縮放整個圖像，把左右眼的位置歸一化到一個固定的寬度；進一步，我們根據眼睛的位置，按照固定的寬度和高度截取出整個人臉的圖像；最後我們對圖像進行局部增強，消除圖像中因為光照不均等產生的亮度差異。我們取左右眼距離為75個像素，從上移35個像素、左移38個像素的位置開始，取寬度為151，高度為151的圖像，正好是一個人臉關鍵部分圖像。

4）評估人臉圖像質量：我們發現，人臉圖像質量的好壞，對於識別準確性有很大的影響。不好的圖像質量提取出的特徵就不可靠。因此為了提高系統的性能，我們對圖像質量提出適當的要求。在上面對圖像進行歸一化的處理過程中，同時計算出圖像的銳度、對比度和灰度級，這三個指標同時刻畫了圖像的質量。我們設定對應的閾值，只有超過這些閾值才進行下一步的處理。

5）Gabor特徵提取：我們使用8個頻段、16個方向的一組二維Gabor小波基對歸一化後的圖像進行濾波，從而得到圖像在這一組小波基下的回響能量。對回響能量進行歸一化處理後，我們得到最後的人臉特徵模板。

3、登記用戶

由於人臉是三維的，人臉在不同姿態下採集的圖像差別會很大，因為一個姿態的圖像僅僅能刻畫人臉在該姿態下的二維特徵，很難完全表達出人臉的三維特徵來。所以如果

我們僅僅根據一幀人臉的圖像來登記一個用戶，必然會得到很低的識別率。因此我們需要採集人臉在多個姿態的多個圖像，才可以得到儘可能多的人臉三維特徵。只有這樣，在實際的套用中才會得到可接受的識別率。

進一步的處理，通常的人臉識別技術是融合多個姿態的圖像，從中分析出來人臉三維特徵的幾何表達，依此來構建特徵模板，這就是所謂的3D人臉識別技術。然而，這種方法會帶來很大的計算開銷，並且也不是很準確，在嵌入式系統中是不可能實現的。我們通過分析這些不同姿態的人臉圖片發現，同一人臉的姿態相近的圖像的相似度是很高的，而不同姿態的不同人臉的圖像的相似度則非常低。《人臉圖像識別方法和系統》據此設計一種方法，這種方法進行用戶登記和識別，能夠有效解決識別率低和識別速度慢的問題。

我們在登記用戶時，要求用戶變換5種姿態，系統會在每一種姿態下採集三幀圖像並提取出特徵模板。這樣我們會得到總共15個特徵模板。採集的過程通過語音提示用戶變換姿態，系統同時自動採集並進行計算，這使得該過程並不會太難於使用。由於在實際使用中，往往用戶不會嚴格遵循語音提示的時間發生姿態的變化，用戶的姿態也不一定完全符合我們的要求，因此我們也不能確保最後採集到的15個模板是準確的5種姿態每種3個模板。這使得我們不能簡單地提取出每種姿態的一個模板作為代表進行後續處理。《人臉圖像識別方法和系統》簡單地把這15個模板都存入資料庫，但是對它們先進行排序。

我們通過從候選模板集中順序選擇出模板的方法排序，基於兩個原則：

A.選出的模板儘可能代表未選擇出的模板，即它與其他的候選模板有最大的相似性；

B.選出的模板儘可能遠離已選擇出來的模板，即它與已選模板保持有最小的相似性；這兩個原則保證了前5個模板基本上能夠代表5個姿態的人臉特徵。而後的10個模板基本上是對前面模板的重複，也有一些補充。通過實驗，我們得到上面流程中的參數a1，a2的最好的取值為a1＝5/9，a2＝4/9。

5、人臉識別

在識別過程中，採集人臉圖像和提取特徵模板的過程與登記人臉時是一樣的，當然此時我們只能是採集一幀圖像後就立即進行識別。

兩個人臉特徵模板匹配的結果是一個相似性範圍在0～120的分數。如果這個分數是120，就表示兩個人臉完全相匹配；為零則表示完全不匹配。為了提高識別率，我們不會把120作為判斷同一人臉的依據，而是選定一個閾值，當相似性分數大於這個閾值時，就斷定兩個人臉模板來自於一個人臉。根據在大規模的人臉資料庫中測試的結果，閾值為80時，我們的系統可以得到1/100000左右的誤識別率。我們在通常的套用中採用這個閾值。

我們設計的匹配流程依據我們的對用戶指紋模板的存儲順序分為三個階段：第一個只在每個用戶的第一個模板中識別，但是取一個較低的閾值（第一下限閾值），例如43，這樣我們可以過濾出一部分用戶出來，進行第二階段的比對。通過第一個階段的匹配後，大概有70％的用戶會被過濾掉，因此參與第二階段的比對的用戶只剩下30％左右了。第二階段比對中，我們選取一個高一點的閾值（第二下限閾值），例如60，這樣會有95％的用戶會被過濾掉，因此參與第三階段的比對的用戶只剩下5％左右了。第三個階段，我們在最後挑選出來的5％的用戶的其餘10個模板的進行逐一比對，得到最後的結果。從這個步驟中可以看出，這個流程的模板匹配計算的複雜度為：模板匹配計算次數＝C+C*30％*4+C*30％*4*5％*10＝2.8*C

其中C為資料庫的人數。以1000人為例，我們最多需要進行2800次模板匹配計算。事實上，我們的測試表明，絕大多數最終不能不匹配的模板在第二階段的匹配中通常會得不到任何可能的匹配結果，因此不會進入第三階段的匹配。這就是說，實際的過程中的計算複雜度會比上面公式計算的要低很多。

我們還設定一個上限閾值，例如90，在各個階段的比對中，一旦有一個模板與我們的現場模板比對的超過這個上限閾值，就可以立即認為找到了匹配的模板，而不需繼續下一個步驟的比對。這樣在可以快速地得到匹配的結果。

因此，《人臉圖像識別方法和系統》雖然為每個用戶在資料庫中保存了15個模板，但是通過上面的流程，即讓15個模板都能發揮作用，極大地改善了識別率，同時因為沒有太大增加模板比對的次數，整個系統最終還能夠快速地進行識別。

6、人臉模板的學習

人臉的特徵隨著時間的推移也會產生一些變化，例如胖和瘦的改變。因此我們的系統最好能夠在使用過程中把這些變化反映到用戶的登記模板上。這樣隨著時間的流逝，用戶的登記模板也會隨著保持更新，也就是說具有自動學習功能，不至於當用戶的人臉變化積累到一定程度後導致系統最終無法識別。

我們設定一個策略，在用戶使用的過程中，識別成功的情況下，若匹配的分數大於一個給定的上限閾值，例如100分，則我們確信這次識別結果是絕對正確的，這樣我們把這次現場採集的模板作為一個待學習模板進行學習。

這個流程中，我們採用同登記模板時一樣的方法對用戶已登記的15個模板和待學習模板一起進行排序，然後去掉排在最後的一個模板。學習成功後，更新資料庫寫入該用戶重新排序的15個模板即可。

《人臉圖像識別方法和系統》描述的算法流程和技術方案，已經在我們的多款設備上得到套用。這些設備採用Marvel的嵌入式套用處理器PXA310，其速度和識別率均達到了商業化套用水平。

如圖1-2所示，《人臉圖像識別方法和系統》用於實現《人臉圖像識別方法和系統》上述方法的人臉圖像識別系統是使用嵌入式微處理器作為系統的中央處理單元或者微處理器核心板1、中央處理單元或者微處理器核心板1連線採集人臉圖像的CMOS感測器2，並輔以人臉的紅外照明裝置紅外LED光源3實現任何光線條件下的使用功能，採用窄帶紅外濾光片4過濾可見光來排除環境光的干擾。圖1中：用戶為5，光源照射的紅外光為61，人臉反射的紅外光為62。其中：中央處理單元或者微處理器核心板採用Marvel的嵌入式套用處理器PXA310。

更具體是：《人臉圖像識別方法和系統》使用嵌入式微處理器作為系統的中央處理單元、連線CMOS感測器採集人臉圖像，並輔以紅外照明實現夜間使用，過濾可見光來排除環境光的干擾。從而《人臉圖像識別方法和系統》實現一個完整、可靠的人臉識別系統，其識別率和識別速度都達到令人滿意的水平，可以套用到考勤、門禁等系統中。

榮譽表彰

2020年7月14日，《人臉圖像識別方法和系統》獲得第二十一屆中國專利獎優秀獎。