基於骨骼運動估計的三維表面恢復研究

《基於骨骼運動估計的三維表面恢復研究》是依託南京大學，由於耀擔任項目負責人的青年科學基金項目。

基本介紹

• 中文名：基於骨骼運動估計的三維表面恢復研究
• 項目類別：青年科學基金項目
• 項目負責人：於耀
• 依託單位：南京大學

項目摘要

高速雷射掃瞄器、三維深度視頻相機的發展和成熟，引發了計算機視覺領域的革命，使得三維視覺成為未來計算機視覺發展的主要方向。尤其在運動捕獲、動漫、醫療、智慧型輸入、物聯網環境下異常事件監測等領域中，套用和發展三維視覺技術成為當前研究的熱點。三維採集設備獲取的對象表麵點雲數據通常有大量的噪聲和無效數據，或因遮擋或環境光照存在數據缺失現象。這些問題的存在，導致三維點雲數據難以直接套用，必須通過表面恢復進行處理。本項目研究運動物體的骨骼運動模型、約束及序列特徵。從而對點雲骨骼做出運動估計，通過骨骼匹配，建立三維點雲數據的空-時對應關係，去除噪聲數據，恢復缺失點雲並重建形體表面。本項目的研究內容，將很大程度上促進三維計算機視覺更好的服務於國民經濟和人類生活。

結題摘要

隨著高速雷射掃瞄器、三維深度視頻相機的發展，利用三維掃瞄器或深度攝像頭捕獲對象物體的三維信息，進而利用三維信息進行分類、識別、估計或決策，成為當前計算機視覺領域研究的熱點。然而，由於三維掃瞄器及深度攝像頭採集對象信息受限於一定的視角，使得無法得到對象物體完整的點雲信息。如何從含有大量噪聲，並且不完整的三維點雲中，恢復對象完整且純淨的點雲數據，也即表面恢復是目前三維視覺中的難點。尤其在不引入額外的標記點或參照物的前提下，解決這一問題，對三維視覺領域的發展起到顯著的推動作用。本項目於2012年獲國家自然科學基金（青年科學基金項目）資助，先後提出了不受環境光影響的結構光三維點雲採集算法，其能夠大大提高結構光解碼精度，並保持高實時性，同時該方法不易因受環境光影響而產生錯誤，具備較高的魯棒性；提出了一種基於超級塊的點雲語義分割算法，該算法具備較高的分割及識別精度。從而能夠較好的從複雜場景中分割出背景點雲，從而得到人體運動數據，並為基於上下文的人體運動估計提供了先驗信息；提出了一種基於樣本一致性的點雲匹配算法，為融合多資料庫用於人體形體模型參數化訓練提供了條件，其所獲取的融合資料庫，具備較好的參數化表示能力，能夠在較小的PCA空間下獲取精細的形體數據，並由此建立了目前全世界最大的人體形體資料庫；提出了在存在大規模運動、目標著衣環境下，人體運動及形體捕捉算法。其核心在於利用多維度約束信息，估計人體運動參數及形體參數，並利用空時信息，去除衣物影響。該方法較當前已有算法在精度上有很大改進，同時，能夠在無需目標配合的情況下，實現人體形體參數測量，正在實現非侵入式形體捕捉，在高噪聲環境下完成了人體形體估計的表面恢復。本項目所發表成果為推動我國三維採集、三維運動捕捉、三維點雲分割及識別、動態場景語義分析、三維形體估計等領域的技術發展有著較大的理論指導作用。