基於多張異源圖像的人臉三維重建

《基於多張異源圖像的人臉三維重建》是依託清華大學，由陳健生擔任項目負責人的青年科學基金項目。

基本介紹

• 中文名：基於多張異源圖像的人臉三維重建
• 依託單位：清華大學
• 項目負責人：陳健生
• 項目類別：青年科學基金項目

項目摘要

近二十年來人臉識別技術的發展推動了大規模人臉圖像資料庫的建設。這些資料庫中的人臉圖像在不同時間，不同環境下由不同的設備採集，因此可以稱為異源人臉圖像。數字成像技術的發展和普及也使得高質量的異源人臉圖像海量存在於個人相簿、社交網站等網路媒體中。同一目標人的異源人臉圖像實際上蘊含了其人臉表面豐富的信息，包括三維結構和反射特性。當前包括人臉識別在內的人臉技術正在經歷一個從二維圖像到三維模型的關鍵性進化，這其中所面臨的一個瓶頸就是三維人臉數據獲取。針對這一現狀，我們提出利用多張異源人臉圖像進行人臉表面三維重建的研究。異源圖像之間光照、角度的差異是三維重建的基礎，而異源圖像數據的不確定性和不一致性則是三維重建面臨的主要難點。本研究旨在尋求一種準確、魯棒、高效、便捷的人臉三維數據獲取途徑，推動人臉技術的進化。除了人臉識別之外，本研究的成果也可以套用於醫療、娛樂、文化等涉及人臉技術的領域。

結題摘要

真實的人臉表面具有複雜的表面形狀，紋理和反射特性。這些變化很難用特定投影下的二維圖像晚完備地描述。因此，人臉三維重建是已經包括人臉識別在內的各類人臉技術套用的重要基礎。傳統的三維人臉重建技術往往需要在受控的環境下獲取特定姿態或光照的人臉圖像。這極大地限制了這些技術更加廣泛的套用。而現實情況是，隨著數字成像技術的發展以及網路技術的普及，高質量的異源人臉圖像海量地蘊藏在各類網路媒體中。這些圖像實際上蘊含了人臉表面豐富的信息。本項目正是旨在探索從這類圖像中重建三維人臉的關鍵技術。 異源人臉圖像由於獲取的環境、方式和設備的不同，存在多層次差異性。 檢測和消除這些差異是三維人臉重建的基礎。針對異源人臉圖像易失配的問題，項目著重研究了複雜條件下的高精度人臉特徵點定位，提出了一種基於人眼器官幾何形態約束的眼球精確定位算法。針對異源人臉圖像質量差異問題，提出了一種基於多特徵融合和排序學習的人臉圖像質量判別算法，可以有效地對人臉圖像實現自動質量評分。進而避免了低質量的人臉圖像蘊含信息的不可靠性導致的三維人臉重建精度退化。這一方法還有效地提高了非受控環境下多實例人臉識別的魯棒性。從二維人臉圖像重建三維人臉本質上是一個欠定的問題。針對這一特性，項目重點研究了異源圖像三維重建中信息補充的方式。針對具有姿態變化的類序列的異源人臉圖像，提出了一種結合稀疏重建和稠密重建的遞進式算法，並在其中實現了魯棒的特徵點追蹤和篩選。針對人臉本源的對稱特性，提出了一種非對稱性魯棒的人臉鏡像算法，提升了異源人臉圖像對光照子空間的支撐，進而實現了極度欠定條件下的人臉三維重建。利用異源人臉圖像表面反射情況的差異性，提出了一種疊代式的表面法向量和反射參數估計的算法，實現了高精度的人臉三維重建。我們還提出了多種融合了三維人臉重建的人臉識別框架，從套用層面驗證了項目中提出的三維人臉重建的方法的有效性。 項目中提出的創新性的方法不僅以多篇學術論文的形式在本領域主要的國際期刊及會議上發表，還以軟體模組的形式融入實驗室既有的人臉識別系統中，相關套用成果支撐了研究工作獲得省部級獎勵。部分研究成果更是以開放共享的形式提供給本領域中其他研究者試用。本項目創新性地提出了基於廣泛存在的異源人臉圖像驅動的三維人臉重建問題，並驗證了其可行性和有效性。項目產生的諸多關鍵性技術，可給相關的研究者提供借鑑和基礎，推動本領域研究的發展。