數據驅動的多維媒體感知與理解

《數據驅動的多維媒體感知與理解》是依託清華大學，由戴瓊海擔任項目負責人的重點項目。

基本介紹

• 中文名：數據驅動的多維媒體感知與理解
• 依託單位：清華大學
• 項目負責人：戴瓊海
• 項目類別：重點項目

項目摘要

現實場景的三維重建在軍事、航天、醫療、影視製作等領域有著廣泛的套用前景。利用稀疏分布的低解析度相機感知高速運動、動態場景的光照遷移與逼真再現是三維重建的國際前沿挑戰難題，通過現有採集機制與視覺處理方法難以刻畫大規模、變光照、高動態的多維媒體特性。涉及到的核心問題包括：高動態複雜對象空時光採樣，多維媒體幾何及光照特性的感知與理解、重生成與最佳化等。本項目瞄準多維媒體數據的幾何、光照與動態特性，探索大規模數據採樣的機制，通過時間解耦、壓縮採樣、自動補償高精密採樣實現場景的空時光數據捕獲，採用數據驅動的方法，結合物理特性建模與圖像數據分析，解決場景空時光感知與理解的關鍵問題，同時研究多維媒體的視覺質量評價方法，對場景的高效採樣、逼真重建進行反饋指導。力圖揭示多維媒體特性的表示機理，建立數據驅動的多維媒體感知與理解平台。在理論和關鍵技術研究上取得突破，培養一支多維媒體領域的研究團隊。

結題摘要

現實場景的三維重建在軍事、航天、醫療、影視製作等領域有著廣泛的套用前景。利用稀疏分布的低解析度相機感知高速運動、動態場景的光照遷移與逼真再現是三維重建的國際前沿挑戰難題，通過現有採集機制與視覺處理方法難以刻畫大規模、變光照、高動態的多維媒體特性。涉及到的核心問題包括：高動態複雜對象空時光採樣，多維媒體幾何及光照特性的感知與理解、重生成與最佳化等。本項目瞄準多維媒體數據的幾何、光照與動態特性，探索大規模數據採樣的機制，通過時間解耦、壓縮採樣、自動補償高精密採樣實現場景的空時光數據捕獲，採用數據驅動的方法，結合物理特性建模與圖像數據分析，解決場景空時光感知與理解的關鍵問題，同時研究多維媒體的視覺質量評價方法，對場景的高效採樣、逼真重建進行反饋指導。力圖揭示多維媒體特性的表示機理，建立數據驅動的多維媒體感知與理解平台。在理論和關鍵技術研究上取得突破，培養一支多維媒體領域的研究團隊。