《基於視覺場計算理論的複雜場景重建研究》是依託清華大學，由劉燁斌擔任項目負責人的面上項目。
基本介紹
- 中文名：基於視覺場計算理論的複雜場景重建研究
- 依託單位：清華大學
- 項目負責人：劉燁斌
- 項目類別：面上項目
項目摘要,結題摘要,
項目摘要
本項研究針對當前計算機視覺、圖形學和圖像信號處理等學科領域的融合，提出視覺場計算概念，研究複雜場景（多對象、動態）在高維稀疏採樣下的場景重建問題。通過壓縮感知理論的引入，探索時間-空間-光照三維度所構成的視覺場在各子空間的圖像匹配與融合特性，進而構建並完善視覺場計算的理論與框架，以提高場景重建的精度和魯棒性。具體研究內容包括：針對視角維度的全局信息冗餘和局部信息缺失特性，研究基於低秩矩陣及稀疏表示理論的多視圖點雲融合方法，提高三維重建的精度與魯棒性；針對動態對象在時變光照下的信息欠定採樣難題，研究光照-時間維度的變光照下的光流匹配技術；針對多運動對象場景所面臨的時變多區域遮擋挑戰，研究時間-視角維度的多對象三維表面運動跟蹤方法；綜合各低維子空間重建技術，設計面向複雜場景的高精度魯棒視覺場重建方法。最後，項目將搭建視覺場計算資源主頁，發布採集得到的視覺場數據，促進該領域研究的發展。
結題摘要
為研究複雜（多對象、動態）場景在高維稀疏採樣下的重建問題，提高重建的精度和魯棒性，本項目引入壓縮感知理論，探索時間-視角-光照三維度所構成的視覺場在各子空間的圖像匹配與融合問題，提出、構建並完善了“視覺場”的理論與框架。本課題在如下研究方向做出了貢獻： 1. 提出涵蓋並服務於場景採集與重建的視覺場（時間-視角-光照所構成的三維度圖像空間）及視覺場計算（三維度圖像空間內的匹配和融合）概念，建立了視覺、圖形學及信號處理領域的統一理論框架，從中可理解包括光流、立體匹配、三維重建、光度立體等研究方向之間的聯繫。 2. 在視角維度，提出了一種基於多視角點雲間的稀疏冗餘特性進行點雲融合的算法，在提高場景表水效率的同時提高了重建的精度。 3. 在視角-時間維度，提出了基於多台手持深度攝像機的無標記運動捕捉與三維重建方法，解決了真實場景、非固定相機情況下的無標記運動捕捉與表面重建問題。 4. 在視角-時間維度，提出了多對象複雜場景的無標記運動捕捉與三維重建方法，提高了運動估計及三維重建精確性，填補了國際上多動態對象的運動捕捉的空白。 5. 在視角-光照維度，提出了針對朗伯表面的和針對非朗伯表面的多視圖多光照的三維重建方法，得到高質量靜態三維模型。主要創新點在於，在朗伯表面情況下，不需要對光照環境作任何強制限制；在非朗伯表面下，提出了一種對非漫反射成份更有效估計的最最佳化方法。 6. 在時間-視角-光照維度，通過利用多視角多時刻光度特性，對其幾何及反射特性信息進行高精度重建，實現了自由運動對象的真實感三維光照映射，突破了傳統方法中必須在可控的變化光照下採集及採集周期性運動的限制。 本課題發表包括ACM Trans. Graphics、IEEE Trans. PAMI、IEEE Trans. VCG、IEEE Trans. SMC-B、 IEEE Journal STSP、Pattern Recognition等領域重要SCI期刊8篇，其中發表在TPAMI 2013的文章被評為TPAMI當期亮點文章；發表國際會議論文5篇，包括SIGGRAPH、CVPR、ECCV等領域頂級會議論文；獲得國家發明專利授權8項，並獲國家技術發明一等獎（排名第3）。
