屬性遷移學習及其在面部幾何與行為數據分析中的套用

《屬性遷移學習及其在面部幾何與行為數據分析中的套用》是依託北京大學，由裴玉茹擔任負責人的面上項目。

基本介紹

• 中文名：屬性遷移學習及其在面部幾何與行為數據分析中的套用
• 項目負責人：裴玉茹
• 項目類別：面上項目
• 依託單位：北京大學

項目摘要

面部功能肌肉組合進行人類最基本的情感和語言交流。隨著信息獲取技術飛速發展，採集頭面部幾何形態與運動數據日益迅捷。如何有效表達、重用面部表情、唇形相關幾何形態與動態變形，如何提取、編輯頜顱面多重屬性還缺乏一個緊緻簡潔的解決框架。本課題研究屬性遷移學習及其在面部幾何與行為數據分析中的套用，包括面向遷移學習的結構約束嵌入算法，通過多維尺度算法結合結構先驗以實現不同屬性數據的語義相關嵌入。我們研究非監督流形對齊算法，基於局部樣本點和切平面估計變換，從而實現參照和目標數據集在共有嵌入空間中緊密重疊。同時基於流形對齊技術研究人臉靜動態標註以及屬性遷移算法的泛化問題。通過構造流形圖結構給出處理人臉姿態和表情變換的一致框架，其中引入機率回歸模型進行視頻人臉屬性替換。我們研究形狀空間中參數遷移技術以實現三維頜顱面幾何估計。本課題在虛擬播音和唇讀、頜面醫學臨床診斷，自然人機互動界面等領域具有廣闊的套用前景。

結題摘要

本課題基於遷移學習理論，著眼於面部幾何形態與動態變形的有效分析、表達、重用，並在此基礎上開發面部動態序列識別、標註以及姿態屬性遷移的緊緻、簡潔有效的解決框架。在以下三個方面展開研究：（一）研究頜面部二維與三維圖像中顱面結構的自動解析。我們提出了基於雙模態深度學習的顱面結構解析，利用一個四層的網路結構構造側位片圖像塊和形狀參數之間的相關模型，將形狀參數的自動獲取問題定義為在不同模態數據之間形態信息的遷移，並獲取魯棒的形狀估計。我們提出基於隨機遊走技術的頜面部三維解剖結構自動解析與分割方法，系統將柔化約束引入隨機遊走算法中，將三維圖像分割定義為柔化約束下標記擴散以及非剛性的三維模型對體圖像中牙列分割表面的擬合，實現三維錐束CT圖像中牙列的自動分割。（二）研究基於流形對齊技術面部形狀以及行為的自動識別。我們提出非監督密度森林流形算法，其中節點分裂時的雙重判決標準有效處理高維人臉動態數據分布所帶來的秩不足的問題。在低維嵌入空間的流形對齊技術為唇形識別提供了一個解決方案。基於決策樹節點最優分裂策略估計對於聚類區分能力強的變形場分量，尋找解剖結構中的顯著區域，並改進相似度估計以及種屬分類性能。（三）研究基於協同嵌入的三維頜面圖像配準。提出基於子集定義和流形距離的多模態圖像配準技術，其中原始圖像之間的差異轉化為低維空間內流形到流形的距離，配準參數的求解轉化為低維流形之間距離的最小化問題。依據上下頜骨穩定結構分析三維頜面形態變化，提出球灰度積分運算元描述體素的上下文紋理信息，並估計參照與目標圖像子集的圖拉普拉斯矩陣用於協同嵌入以及高效的三維圖像配準。在項目執行期間發表與錄用論文 15篇，其中SCI 3篇，EI 12篇。 申請專利5項，獲得軟體著作權1項。三維顱面結構標註重疊技術相應軟體已套用於口腔正畸臨床。