融合視頻人臉及唇動密碼特性的身份鑑定關鍵技術研究

《融合視頻人臉及唇動密碼特性的身份鑑定關鍵技術研究》是依託華僑大學，由柳欣擔任項目負責人的青年科學基金項目。

基本介紹

• 中文名：融合視頻人臉及唇動密碼特性的身份鑑定關鍵技術研究
• 項目類別：青年科學基金項目
• 項目負責人：柳欣
• 依託單位：華僑大學

項目摘要

本項目提出融合視頻人臉及唇動密碼特性的身份鑑定技術，該技術結合了多生物特徵較強的防偽能力以及密碼信息的保密性，要求對身份認證需同時囊括視頻人臉信息、唇動行為特性以及特定密碼口型序列信息的匹配，以起到對身份鑑定的多重保護作用。本項目以視頻人臉和唇動密碼序列的特徵提取以及模型建立為核心，旨在進行判別性的視頻人臉信息挖掘、唇動行為表示以及密碼特性分析；同時，根據以上兩種模態的各自特性，擬在模型分析、算法實驗和套用研究三個層面探討並研究融合這兩種模態的基本理論和方法，進而建立基於人類視覺識別和機器學習識別的融合算法用於提升身份鑑定系統的各方面性能。 在深入理論研究的基礎上,本項目著重研究以下四方面內容: （1）多模態誤對齊下的視頻序列對準方法；（2）多樣化視頻人臉表達模型及其理論；（3）唇動密碼序列分析及其判別性模型表示理論；（4）身份鑑定中的融合策略及其最最佳化理論和方法。

結題摘要

項目針對視頻人臉和唇動密碼特性的融合，利用計算機視覺和模式識別的基本理論，在判別性特徵提取、唇動分割、唇動檢測，唇動建模、人臉姿態估計以及融合方法等方面進行了深入的研究；同時，根據以上兩種模態的各自特性，在模型分析、算法實驗和套用研究三個層面探討並研究融合這兩種模態的基本理論和方法，進而建立基於人類視覺識別和機器學習識別的融合算法用於提升身份鑑定系統的各方面性能。通過本項目的研究，目前取得的主要成果有以下幾點：（1）創新的提出了一種基於Multi-Boosted HMMs的數字唇動密碼身份鑑定方法；（2）提出一種基於樣本隱馬爾科夫模型的唇讀識別方法；（3）提出一種結合人臉和數字唇動密碼的分層身份驗證方法；（4）提出了一種基於方向性區域光流直方圖和低秩相關度挖掘的唇動狀態分析分析方法；（5）提出了一種基於Garbor子空間相關度和自我調節譜分類方法的無監督面部姿態分組方法；（6）提出了一種基於深度關聯神經網路的音視頻融合方法；（7）提出了幾種有關項目關鍵研究技術擴展性研究的解決辦法；已發表SCI論文（10篇），國核心心期刊3篇，國際EI會議論文（6篇），本項目合作培養碩士生 5 名（1名已畢業）.