基於RGBD相機的實時三維建模技術研究

《基於RGBD相機的實時三維建模技術研究》是依託浙江大學，由翁彥琳擔任項目負責人的面上項目。

基本介紹

• 中文名：基於RGBD相機的實時三維建模技術研究
• 依託單位：浙江大學
• 項目負責人：翁彥琳
• 項目類別：面上項目

項目摘要

近年來RGBD相機的快速發展和普及為普通用戶提供了方便快捷的三維數據獲取手段，這使得採用RGBD相機的三維掃描和建模成為當前學術界和工業界的研究熱點。現有的三維建模技術大都只適合於離線計算，而實時掃描和建模的研究還處於初期階段，無法滿足RGBD相機實時套用需求。本項目提出研究基於RGBD相機的實時三維建模技術，旨在突破現有三維建模技術在實時性、魯棒性和普適性方面的局限性，從數據結構、算法和系統三個層面研製出兼具創新性和實用性的實時三維建模系統。項目的研究內容主要包括單個物體三維掃描數據的線上結構分析與實時補全、顏色紋理與三維掃描數據的實時配準、大規模三維場景的線上結構分析與實時重建、以及基於RGBD相機的簡易互動建模。項目的研究成果將促進影視動漫、遊戲、工程設計與仿真等產業的發展，並對電子商務、國防安全、以及3D大數據等領域具有十分重要意義。

結題摘要

三維建模是計算機圖形學的核心研究內容。傳統三維建模方法和軟體依賴於繁瑣的手工操作，或需要使用專業設備來獲取充足的三維信息。這些軟體和設備只適用於專業套用環境，建模效率低、成本高，無法在網際網路等新興套用中普及使用。為提高建模效率、降低建模成本，項目探索了使用輕量級設備（如深度相機、智慧型手機）獲取的數據來構建高質量三維模型的新途徑。其主要挑戰體現在：首先，輸入數據為2D或2.5D，缺乏對象的完整三維信息；其次，消費級套用中普通用戶只能進行簡單手工操作，希望全自動建模。項目圍繞著上述挑戰，開展了基於RGB/RGBD圖像的三維建模研究，提出了基於RGB/RGBD圖像的三維頭髮全自動建模方法、基於單幅RGB圖像的三維人臉實時動畫方法、基於RGB圖像的數位化身構建方法、基於RGB圖像的機械零件建模方法、以及三維形狀的深度學習方法。在計算機圖形學頂級期刊ACM TOG和IEEE TVCG、Computer Graphics Forum上發表6篇論文，獲得4項發明專利。部分專利技術已授權給歐萊雅和寶潔公司。