基於RGBD視頻的可變形曲面重建

《基於RGBD視頻的可變形曲面重建》是依託浙江大學，由朱建科擔任項目負責人的青年科學基金項目。

基本介紹

• 中文名：基於RGBD視頻的可變形曲面重建
• 依託單位：浙江大學
• 項目負責人：朱建科
• 項目類別：青年科學基金項目

項目摘要

三維可變形曲面重建長期以來一直是計算機視覺中的幾個基本問題之一，最近幾年三維可變形曲面重建技術被廣泛的套用到了視頻遊戲、增強現實、影視製作和醫學手術模擬當中，也使其成為了當前計算機視覺領域裡的研究熱點。相對於當前依賴於參照圖像與先驗模型的方法，剛剛推出的RGBD攝像機為可變形曲面建模帶來了新的機遇和挑戰。本項目的研究目標是探索計算機視覺領域中恢復可變形曲面的理論框架和計算模型，並且面向實際的套用需求，研究和探討相關的算法機理與技術方案，包括：可變形曲面建模方法、RGBD攝像機自動標定/定位理論與方法、可擴展曲面拼接、可變形曲面的繪製以及增強現實套用。

結題摘要

基於RGBD視頻的曲面重構方法克服了從二維視頻中獲得三維曲面的病態問題，該項研究不僅是計算機視覺的基本問題，也是大量工業界套用的核心技術，如視頻編輯、增強現實和線上嵌入式視頻廣告。從視頻中恢復並跟蹤可變形曲面的終極目標是建立持續並且精確的模板與輸入視頻密集的空間對應關係。相對於最近兩年來比較流行的大位移光流算法，基於RGBD視頻的三維曲面重構考慮到了物體的拓撲結構及其一致性，並可以採用物理以及潛在的幾何分布的方式對可變形曲面進行正則化約束，從而獲得更好的重構結果。建立圖像間快速準確的稀疏對應關係是解決三維曲面重構的關鍵。二元特徵有著非常緊湊的表示形式以及基於Hamming距離的高效匹配性能，因此我們重點開展了二值化圖像特徵的研究。我們提出了基於Boostrap順序學習的半監督哈希算法在較低量化誤差的前提下將傳統的SIFT特徵二值化。對於固定模板，我們提出了卷積Treelets二值化特徵和高階Treelets分析方法。在建立灰度圖像對應關係以及RGBD相機校準的基礎上，我們可以獲得準確的RGBD圖像之間的對應關係，以及三維坐標點之間的對應關係。跟進一步，我們提出了不依賴於傳統三角格線模型的高斯過程回歸分析方法對三維曲面及其二維投影統一建模。在可變形曲面理論研究的基礎上，我們開展了相關的套用。我們的主要研究成果發表於IEEE Trans. on Cybernetics, IEEE Trans. on Knowledge Data Engineering和ECCV2012等。