《基於數據驅動的移動終端非剛體3D重建》是依託浙江工商大學，由田彥擔任項目負責人的青年科學基金項目。
基本介紹
- 中文名：基於數據驅動的移動終端非剛體3D重建
- 項目類別：青年科學基金項目
- 項目負責人：田彥
- 依託單位：浙江工商大學
項目摘要,結題摘要,
項目摘要
非剛體目標3D重建具有表面形變難以描述和複雜度高難以在移動終端實現的問題，受到深層學習從數據中獲得目標逐層抽象的啟發，本項目將非剛體目標的3D重建問題分解為深層學習擅長的回歸和分類問題：（1）使用基於數據驅動的辦法得到目標表麵點所隱藏的幾何表示，從而降低非剛體目標形變的描述難度，同時，這種幾何表示包含非剛體目標完整的結構化信息，比普通降維算法更適合3D重建；（2）將3D重建問題轉為低維幾何表示上的匹配問題，在低維幾何表示上用深層學習搜尋匹配的幾何表示，由於深層學習大多數層已經在第（1）步中得到，所以只需要通過最後少數幾層網路，就可以得到非剛體目標的3D重建，這樣大大降低了運算複雜度。. 在每幀重建數據融合到整體模型過程中，針對表麵點容易收斂到局部最優值問題，本項目擬用第（1）步學習得到的結構化信息指導表麵點形變約束，同時提出分層的平滑性約束來增強空域信息，從而得到非剛體目標整體重建。
結題摘要
非剛體目標3D重建具有表面形變難以描述和複雜度高難以在移動終端實現的問題，受到深層學習從數據中獲得目標逐層抽象的啟發，本項目將非剛體目標的3D重建問題分解為深度學習擅長的回歸和分類問題，提出一種新的基於漏斗模型的多尺度信息獲取方法，將密集連線網路引入Inception框架來增加網路的容量，從而在不增加網路深度的前提下得到更加準確的人體2D關鍵點。在每幀重建數據融合到整體模型過程中，針對表麵點容易收斂到局部最優值問題，本項目引入等距限制（Isometric）來懲罰肢體的擴展或收縮，並隨後將這種限制建模為基於L0正則化框架，進而得到新的代價函式來匹配3D人體模型和2D關節點，從而得到非剛體目標的3D重建。
