《基於單個深度相機的無模板的非剛性重建和運動跟蹤》是依託南京理工大學，由王康侃擔任項目負責人的青年科學基金項目。
基本介紹
- 中文名：基於單個深度相機的無模板的非剛性重建和運動跟蹤
- 項目類別：青年科學基金項目
- 項目負責人：王康侃
- 依託單位：南京理工大學
項目摘要,結題摘要,
項目摘要
基於單個深度相機的非剛性幾何重建和運動跟蹤技術雖已取得了較大的進展，但目前基於模板的方法需要事先對不同建模對象建立模板先驗知識，而現實套用中有很多物體很難通過模板先驗建模，所以基於模板的方法不適用於現實中對一般運動物體的建模和跟蹤。無模板的運動物體建模和跟蹤近幾年受到研究人員的關注，一些優秀的技術相繼湧現，然而這些技術的魯棒性和準確性仍需要進一步改進，而且對大尺度運動物體的幾何重建和運動跟蹤，相關研究成果很少。如何在使用單個深度相機且不採用模板先驗知識的條件下，重建和跟蹤大尺度運動物體成為亟待解決的問題。基於這一背景，本課題擬研究高效魯棒的無模板非剛性物體幾何重建和運動跟蹤新方法，使之可以重建一般大尺度運動物體（例如人體、動物體等）的三維模型和跟蹤其運動，提高几何重建和運動跟蹤的準確度和魯棒性，並增強重建模型的幾何細節。
結題摘要
非剛性幾何重建和運動跟蹤是計算機視覺和計算機圖形學的重要研究課題之一。目前基於模板的方法需要事先對不同建模對象建立模板先驗知識，但是模板建立過程繁瑣耗時，而且現實套用中有很多物體很難通過模板先驗建模，所以基於模板的方法不適用於現實中對一般運動物體的建模和跟蹤。無模板的方法近幾年受到研究人員的關注，一些優秀的技術相繼湧現，然而這些技術在處理運動序列時存在誤差累積導致的漂移問題，對遮擋、噪音、大尺度運動等的魯棒性和準確性仍需要進一步改進。近幾年深度學習技術成功地運用於相關領域的研究，採用深度學習技術解決非剛性重建和運動跟蹤中的問題，成為具有很大潛力的研究方向。本課題研究高效魯棒的無模板非剛性物體幾何重建和運動跟蹤新方法，使之可以重建大尺度運動物體的三維模型和跟蹤其運動，提高几何重建和運動跟蹤的準確度和魯棒性。本課題重要結果如下。1、提出了一個基於單個深度相機的無模板的非剛性重建和運動跟蹤新方法，在不使用任何模板先驗知識的情況下，該方法可以對各種變形物體實現精準重建和運動跟蹤。2、提出了一個從三維點雲中預測人體三維模型的深度學習方法，該方法能夠重建大姿態不同形狀的人體，對嚴重遮擋和隨機噪音具有很好的魯棒性。3、提出了一個從單張深度圖像估計人體三維模型的方法，該方法採用深度學習技術解決了運動人體重建和跟蹤的一個核心問題，即稠密點對關係的建立，基於預測的稠密點對關係可以重建大尺度運動人體的三維模型。4、創新地提出了一個從三維點雲序列預測動態人體三維模型序列的深度學習方法，該方法提供了一個動態三維模型序列重建和運動跟蹤的新思路，避免了傳統方法中誤差累積導致的漂移問題，同時提高了運動人體重建和跟蹤的魯棒性和準確性。本課題對基於單個深度相機的非剛性幾何重建和運動跟蹤中的難點問題做了深入的研究，並提出了相應的解決方法，提出的方法取得了很好的性能，研究成果具有很大的研究和套用價值。
