數字多媒體表示與處理理論及關鍵技術

《數字多媒體表示與處理理論及關鍵技術》是依託山東大學，由孟祥旭擔任項目負責人的聯合基金項目。

基本介紹

• 中文名：數字多媒體表示與處理理論及關鍵技術
• 項目類別：聯合基金項目
• 項目負責人：孟祥旭
• 依託單位：山東大學

中文摘要

數字多媒體的表示與處理是數字創意、互動娛樂、計算機模擬與仿真、科學計算可視化、醫學可視化、數字教育和數字出版等領域的共性理論和核心技術, 有廣泛的需求和套用背景。本項目針對數字多媒體表示與處理中存在的關鍵問題和技術進行研究，主要研究內容包括：視頻和幾何數據的風格化表示和計算、高動態範圍圖像的實時處理技術、運動捕捉數據的語義信息表示與處理技術、基於數據融合的表示和處理技術、數字媒體新型計算模型與套用驗證系統。研究範圍涉及理論與方法、算法與技術以及原型系統。項目的主要目標是為解決數字創意、互動娛樂等套用中關鍵和難點問題提供新思路、新理論和新方法，為數字多媒體在上述領域中的有效套用提供一系列簡單、高效和魯棒的新方法和新技術。

結題摘要

本課題針對數字多媒體表示與處理中存在的關鍵問題，提出新的幾何數據、運動數據、圖像/視頻數據的表示和處理方法以及多數據融合方法。研究內容主要包括:1、視頻和幾何數據的最佳化表示和計算;2、高動態範圍圖像的實時處理技術;3、運動捕捉數據的語義信息表示與壓縮技術;4、基於數據融合的表示和處理技術等。研發一個高度真實感渲染原型系統以驗證所提出理論方法和技術，該系統滿足電影級渲染和大規模場景渲染需求，並套用於數字影視特效、3D 動畫和 3D 廣告/宣傳片渲染等行業領域。 歸納起來，本課題的主要創新點與貢獻如下： 1、在基於數據融合的數字多媒體表示和處理方面, 提出針對複雜顏色分布的魯棒圖像分割方法、基於多尺度分類器的互動式視頻摳圖方法等，對於複雜場景易能得到穩定的分割結果；提出太陽光和天空光基圖像分解與光照估計方法等，為虛實融合光照一致性提供基礎。相關工作發表在SIGGRAPH Asia、CVPR、The Visual Computer等上。 2、在HDR 圖像/視頻的實時生成與壓縮方面，提出高質量的擴展動態範圍的多曝光圖像序列融合方法、基於能量最佳化和互動的本徵圖像提取方法等，對於真實世界中的複雜場景易能產生適於人眼觀察的高品質融合圖像。相關工作發表在IEEE Trans. SMC、ECCV、CVPR等國際頂級會議和刊物上。 3、在幾何和運動數據的表示和處理方面，提出了面向3D列印的物體內部結構最佳化方法、重心Voronoi圖的全局最佳化算法、曲面保形參數化方法等，達到高效高質量的三維幾何表示，相關工作發表在SIGGRAPH、Eurographics、Computer-Aided Design、 The Visual Computer等國際頂級會議和刊物上。 4、該課題研發大規模並行計算架構下的高度真實感渲染原型系統RenderWing，該原型系統支持Polygon、NURBS曲線和曲面等多種幾何元素；支持毛髮、水流、煙霧等真實感渲染特效。系統研發切合影視動漫等產業需求。 本項目完成了課題預期目標。