基於機器學習與單目視覺的個性化人體建模技術研究

《基於機器學習與單目視覺的個性化人體建模技術研究》是依託湖南大學，由譚光華擔任項目負責人的青年科學基金項目。

基本介紹

• 中文名：基於機器學習與單目視覺的個性化人體建模技術研究
• 項目類別：青年科學基金項目
• 項目負責人：譚光華
• 依託單位：湖南大學

中文摘要

三維人體模型由於在遊戲、虛擬試衣、人機工程等領域中的廣泛套用而成為近年的研究熱點。本項目面向數字虛擬化身等精度要求不高的虛擬現實套用，擬突破三維人體重建過程中成本、速度以及易用性方面的制約，結合機器學習算法，研究基於單目視覺的的三維人體模型快速建模技術。該方法無需額外的三維掃描設備，成本低廉，簡單易用，重建速度快，重建模型質量高，無需後期處理即可套用於虛擬試衣等線上套用。研究內容包括：基於基本幾何模型與細節模型分離的思想，利用Laplace微分坐標構建與姿態無關的參數化人體模型；研究利用卷積神經網路自學習特徵與形狀索引特徵相結合的特徵表示方法；基於級聯分類-回歸森林的機器學習方法，研究基於單幅或多幅靜止圖像的三維人體模型重建方法；研究多視角下非剛性人體模型的對齊與融合的方法，以提高三維重建的質量。本項目為三維人體重建的研究提供了新思路，在遊戲、虛擬現實以及體驗式旅遊等領域中有廣泛的套用。

結題摘要

三維人體模型由於在遊戲、虛擬試衣、人機工程等領域中的廣泛套用而成為近年的研究熱點。本項目面向數字虛擬化身等精度要求不高的虛擬現實套用，研究了基於單目視覺與深度學習的三維人體重建的關鍵技術，設計與實現了一個基於深度學習與單目視覺的三維人體重建系統。主要的研究成果包括：（1）分析與比較了常用的三維人體模型的參數化表達，設計了一種改進的SMPL參數化人體模型；（2）基於改進的SMPL參數化人體模型，提出了一種基於生成對抗網路模型的三維人體重建方法；（3）基於分而治之的思想，提出了一種基於單目視頻的動作識別方法。本項目已申請發明專利1項，軟體著作權1項，發表學術論文4篇，培養學生6名，已達到項目的預期成果要求。本項目為三維人體重建的研究提供了新思路，在遊戲、虛擬現實以及 體驗式旅遊等領域中有廣泛的套用。