採用單個手持RGB-D 像機的無標記人體運動捕獲方法研究

《採用單個手持RGB-D 像機的無標記人體運動捕獲方法研究》是依託中國人民解放軍國防科技大學，由徐玉華擔任項目負責人的青年科學基金項目。

基本介紹

• 中文名：採用單個手持RGB-D 像機的無標記人體運動捕獲方法研究
• 項目類別：青年科學基金項目
• 項目負責人：徐玉華
• 依託單位：中國人民解放軍國防科技大學

中文摘要

採用單個深度像機捕獲人體運動是當前計算機視覺領域研究的熱點。但在已有的方法中，像機位置通常都是固定的。由於單個像機的視場有限，限制了單像機系統在大範圍場景中的套用。基於模型的人體姿態跟蹤方法無需運動資料庫就能估計複雜的人體運動，但通常需要採用價格昂貴或結構複雜的設備對人體建模。對此，本項目採用單個手持 RGB-D 像機捕獲人體運動和對人體進行三維建模。研究融合顏色和深度信息的人體輪廓跟蹤、採用單個RGB-D像機的人體建模、動態場景下像機位姿估計和基於模型的魯棒的人體姿態跟蹤方法。主要創新點包括：採用手持 RGB-D 像機捕獲人體運動以解決單個固定像機視場有限的問題、提出一套低成本、高質量的人體建模方案和基於高斯混合模型的人體姿態跟蹤方法。本項目研究將為單像機運動捕獲系統在大範圍室內環境中的套用和結構簡單、低成本、高質量的人體建模系統的設計提供新的思路和方法。

結題摘要

採用單個深度像機捕獲人體運動和實時建立三維人體模型是當前計算機視覺領域研究的熱點。本項目針對現有的消費級深度相機三維重建精度較低的問題，研究了結合散斑圖像立體匹配和光度立體視覺方法的高精度三維重建方法，提出了一種點光源參數（包括位置和亮度）自標定算法，設計了一款低成本、結構緊湊、實用的近光源光度立體視覺系統。研究了基於近紅外運動散斑的空間-視覺立體視覺方法，實現了一種適用於三維人體建模的基於空間時間立體視覺的低成本三維重建系統。研究了基於相移結構光的快速三維重建方法，提出了一種新的基於參考圖像的解相框架。研究了基於深度圖像的人體三維姿態估計方法，提出了基於點雲輸入的神經網路的關節位置檢測算法，並融合位置和法向信息改進關節角度跟蹤策略，提出了魯棒的人體姿態估計方法。 在國內外期刊和學術會議上已經發表4篇論文（其中國際SCI期刊1篇，中文期刊2篇，EI會議論文1篇），1篇SCI論文進入二審，出版著作1部（國防科技大學出版社），正在撰寫的論文2篇。在套用方面，該項目研究成果“結合散斑立體匹配和光度立體視覺的三維重建系統”於2016年9月1日被用於景海鵬、陳冬等4名中國太空人全身三維人體建模。此外，項目研究成果在2016年9月發射的天宮2號上得到了套用，用於測量在軌人體的三維運動姿態。