數據驅動的非剛性物體三維重建與屬性分析

《數據驅動的非剛性物體三維重建與屬性分析》是依託中山大學，由陳崇雨擔任項目負責人的青年科學基金項目。

基本介紹

• 中文名：數據驅動的非剛性物體三維重建與屬性分析
• 項目類別：青年科學基金項目
• 項目負責人：陳崇雨
• 依託單位：中山大學

中文摘要

如何提高機器對物體的理解能力是計算機視覺領域的一個重要研究課題。由於非剛性物體的變化自由度比較高，而圖像獲取設備能捕捉的自由度有限，對非剛性物體屬性的分析研究一直止步於某些受控的環境，限制了有關研究成果的套用場合。近年來，消費級深度感測器的出現為三維數據的採集提供了有利的硬體基礎，為提高機器對非剛性物體屬性的分析能力帶來了機遇。然而，目前設備獲取的數據是含噪且不完整的。本項目將結合數據驅動的分析方法與最佳化理論，重點研究如何從粗糙的三維數據中快速準確地分析出非剛性物體的幾何形狀、分類、姿態和形變規律等屬性。首先將基於神經網路的物體解析方法擴展到三維，然後在三維解析信息的幫助下提高三維重建的質量，最後在高質量連續重建結果的基礎上結合矩陣分解和最佳化理論實現動態屬性分析。本項目研究將同時推動三維技術和機器學習研究領域的發展。智慧型機器人系統、人機協同和虛擬現實等方面的研究都將從本項目的成果中受益。

結題摘要

如何提高機器對物體的理解能力是計算機視覺領域的一個重要研究課題。由於非剛性物體的變化自由度比較高，而圖像獲取設備能捕捉的自由度有限，對非剛性物體屬性的分析研究一直止步於某些受控的環境，限制了有關研究成果的套用場合。近年來，消費級深度感測器的出現為三維數據的採集提供了有利的硬體基礎，為提高機器對非剛性物體屬性的分析能力帶來了機遇。然而，目前設備獲取的數據是含噪且不完整的。本項目結合數據驅動的分析方法與最佳化理論，重點研究如何從粗糙的三維數據中快速準確地分析出非剛性物體的幾何形狀、分類、姿態和形變規律等屬性。主要研究內容包括：面向三維數據序列的非剛性物體的語義屬性分析、 語義信息指導的高質量物體三維重建和精細尺度的非剛性物體動態屬性分析。項目組成員在圍繞本項目的工作中解決了上述研究內容中涉及到的多個問題。首先，通過解決時間連續性和語義連續性等可能出現的問題，實現了穩定的感興趣目標檢測與語義解析；其次，通過低秩矩陣分析解決了時間一致性問題，實現了高質量的三維建圖；最後，提出了新型的魯棒參數估計方法、基於嚴格旋轉不變性的點雲表達以及深度層次類簇網路的點雲分析方法，同時實現了對剛性與非剛性三維物體的精細分析。本項目的研究包括底層圖像處理、三維物體表達與參數化分析三個方面。在底層圖像處理技術方面，提出了基於深度神經網路的圖像超分辨模型，驗證了非剛性物體的先驗信息在數據恢復中的有效性，解決了基於深度圖與彩色圖獲取物體的像素級感知的問題，並引出了關於深度神經網路是否適用於深度圖恢復這一任務的深刻思考。在三維物體表達方面，提出了一種具備旋轉不變性的三維表達方式，為三維物體屬性分析打下了良好基礎。在參數化分析方面，引入了子空間分析的概念，獲得了更準確的分析性能。