基於同步多雙目立體視覺的高精度人體建模

《基於同步多雙目立體視覺的高精度人體建模》是依託浙江大學，由馮結青擔任項目負責人的面上項目。

基本介紹

• 中文名：基於同步多雙目立體視覺的高精度人體建模
• 依託單位：浙江大學
• 項目負責人：馮結青
• 項目類別：面上項目

項目摘要

在進行三維人體模型獲取與真實感重建時，即使採用高速三維掃瞄器或RGBD相機，仍然存在採集時間長所導致的數據時空不一致問題。因此如何同步地獲取非剛性的人體外形數據並實現高精度重建，是一個具有挑戰性的問題。本項目擬採用多台數碼單眼相機、在百分之一秒瞬間同步地採集人體外形的高解析度圖像數據，並通過研究多相機高效精確標定、面向皮膚弱紋理的稠密點雲生成、多片大規模點雲的魯棒和精確配準、保細節人體模型曲面重建、不同姿態人體模型一致參數化和高質量壓縮等一系列關鍵科學問題，重構精度可達0.5毫米的三維人體模型，完善和創新數字幾何處理和立體視覺的相關理論和方法。同時，將上述研究成果集成為一個面向人體等非剛性對象的三維採集和建模系統，解決傳統方法中存在的採集數據時空不一致及其建模精度不高問題，促進三維列印、影視特效、數字娛樂、人體測量、服裝定製等套用發展。

結題摘要

人體模型的採集和重建在三維列印、影視特效、數字娛樂、人體測量、服裝定製具有重要的套用價值。當前基於三維掃瞄器或者RGB-D相機的採集方式，存在採集時間長、採集數據時空不一致的問題，高精度人體模型的採集與重建是一個具有挑戰性的問題。 本項目創新性地提出並實現了一個基於同步多雙目立體視覺的高精度人體採集和重建系統，該系統有效地克服了人體模型採集過程中存在的數據時空不一致問題。系統的硬體部分包括64台數字單眼相機，組成32個雙目立體視覺子系統，可以同步曝光拍攝。系統的軟體部分包括圖像和視覺計算、數字幾何處理兩個模組。 圍繞高精度人體採集和重建系統，項目組成員在圖像處理、立體視覺、數字幾何處理、三維形狀理解和分析等方面取得了一系列重要進展，提出了立體圖像的局部顏色校正、加權相機校正、自適應視差計算、層次多視圖點雲剛性配準、基於多薄板樣條的多視圖點雲非剛性配準、曲率自適應的有向距離場多尺度曲面重建、骨架引導的高效位移細分曲面生成、面向模型協同分割的體形狀上下文描述子、三維模型協同對齊的一般框架、模型序列的插值與漸變、特徵敏感的光滑自由變形、非剛性模型重建精度測量等一系列新的理論和算法。 實驗結果表明，採用新系統進行人體模型採集重建，其平均誤差2.48mm、最大誤差5.04mm，重建精度遠高於當前商品化軟體PhotoScan(平均誤差9.91mm、最大誤差14.35mm)和開源的多視圖重建系統COLMAP (平均誤差7.544mm、最大誤差11.31mm)。上述理論研究、算法研究和系統開發，為該系統在各領域的套用奠定了理論和方法基礎。