《自由視點三維視頻中紋理-深度圖像聯合建模及套用》是依託西安交通大學，由楊勐擔任項目負責人的青年科學基金項目。
基本介紹
- 中文名：自由視點三維視頻中紋理-深度圖像聯合建模及套用
- 項目類別：青年科學基金項目
- 項目負責人：楊勐
- 依託單位：西安交通大學
中文摘要,結題摘要,
中文摘要
自由視點三維視頻技術是三維視頻的最新解決方案。該技術從若干個特定視點採集目標場景的紋理、深度圖像，然後用二者合成其它觀看視點的虛擬視頻。目前，虛擬視頻質量較低是制約該技術發展的瓶頸之一。傳統方法一般通過分別處理紋理、深度圖像來最佳化虛擬視頻的質量。但在實際系統中，紋理、深度圖像相互作用，並同時影響虛擬視頻的質量。針對該問題，本項目首先從聯合分析紋理、深度圖像之間的時空域關係角度建模虛擬視頻質量的一系列變化特性，包括：（1）聯合分析二者對虛擬視頻的影響，建立其質量估計的解析模型；（2）聯合分析二者的空域紋理差異，建模虛擬視頻質量的局部區域重要性；（3）基於二者空域結構相似特點聯合建模它們之間的時域冗餘信息；（4）基於多目標最佳化理論建立二者質量的聯合最佳化模型。然後，把以上模型套用於自由視點三維視頻系統中的視點合成和視頻編碼過程，以改善合成的虛擬視頻的質量，推動該技術的發展和在三維視頻監控等領域中的套用。
結題摘要
近幾年，由於深度感測器技術的發展和成熟，基於深度感測數據和可見光數據的三維視頻技術一直是三維視覺系統的主流解決方案。本項目以該技術為背景開展理論和套用研究，在項目執行期內取得的主要成果總結如下。（1）首次發現，當三維成像系統包含失真時，深度數據和可見光數據的客觀質量與合成視點的質量之間的關係並不是單調遞增關係，並對該發現進行了理論分析和實驗驗證；（2）基於合成視點質量的非單調性特性提出了合成視點質量最佳化算法和高效的三維視頻壓縮算法，有效改善了三維視覺系統的性能；（3）首次建立了深度數據對合成視點質量影響的噪聲模型，並與經典的自然圖像噪聲模型進行了比較，在此基礎上提出一種合成視點的局部去噪方法，有效消除了合成視點的輪廓噪聲；（4）建立了一種簡單、高效的深度失真與合成視點失真關係模型，並成功套用於深度數據編碼，最佳化深度視頻壓縮率；（5）構建了一套大範圍三維成像系統，為合成視點理論和算法提供驗證和展示平台。項目取得的相關研究成果在IEEE Trans. Image Process.、IEEE Trans. Multimedia等本領域國際著名期刊上發表論文5篇，在高水平國際會議上發表論文3篇，申請發明專利1項，部分研究成果套用到一項自然基金委重大儀器項目和一項科技部重點研發計畫項目中；在項目的資助下，課題組先後培養了4名碩士畢業生，接收了8名本科實習生。
