立體視頻高效編碼算法研究

《立體視頻高效編碼算法研究》是依託清華大學，由張永兵擔任項目負責人的面上項目。

基本介紹

• 中文名：立體視頻高效編碼算法研究
• 依託單位：清華大學
• 項目負責人：張永兵
• 項目類別：面上項目

項目摘要

隨著立體視頻技術的飛速發展，人們的視聽感受將逐步進入立體化時代。用於逼真重現立體視覺效果的視頻數據量非常龐大，這對存儲與傳輸提出了新的挑戰。因此，立體視頻的高效編碼已成為一個迫切需要解決的核心問題。本項目將研究高效的時-空解析度非對稱立體視頻編碼，深度輔助的立體視頻編碼以及深度彩色聯合編碼率失真最佳化。具體內容包括：針對立體視頻的高視間相關性，設計內容自適應的上下採樣環內反饋濾波器，研究時間解析度、空間解析度非對稱立體視頻編碼方法，以充分去除立體視頻的高空間和時間冗餘；結合深度結構信息，分析視點內深度圖和彩色圖之間的結構一致性，研究高效深度輔助的立體視頻編碼的理論方法和關鍵技術；結合率失真和最最佳化理論，研究虛擬視點繪製失真估計模型，建立面向虛擬視點繪製的立體視頻編碼率失真模型，並在該模型的指導下對立體視頻編碼進行率失真最佳化。項目可取得理論創新與技術突破，促進立體視頻的廣泛套用。

結題摘要

針對立體視頻數據量隨視點個數增加而倍增的特點，結合人眼視覺特性，本項目分別研究了率失真最優的雙目立體視頻拼接編碼算法、時間解析度非對稱的立體視頻編碼、空間解析度非對稱編碼。具體內容包括：針對雙目立體視頻拼接編碼同步、與平面視頻編碼標準兼容、解碼端運算資源稀缺等特點，分析了不同下採樣濾波係數對編碼失真和消耗碼字的影響，建立了面向雙目立體視頻拼接編碼的率失真理論，並以該理論為指導設計了率失真最優的拼接編碼算法。該算法可在給定上採樣方法前提下，得到最優的拼接編碼圖像，能夠大幅度節省編碼消耗的比特數，同時顯著提升重構視頻的信噪比。緊接著，本項目分析了相鄰視頻圖像連續、漸變的特點，提出相鄰視頻幀內同一物體像素值可由一個多項式擬合表示的模型。利用該模型，任意待插幀內像素可由其前向幀內對應像素的泰勒展開表示出來，此外還可以由其後向幀內對應像素的泰勒展開表示。通過最小化前、後向泰勒展開的近似誤差，我們可以搜尋出最優的運動矢量，進而顯著提升插值幀的質量。該方法可套用於時間解析度非對稱編碼方案，提升視頻重建質量。最後，針對深度視頻和紋理視頻非對稱編碼方案，分別提出深度圖超解析度和紋理圖超解析度算法。深度圖超解析度方面，我們分別提出了機率最大化的漸進式深度圖超解析度算法、三邊濾波深度圖上採樣、雙稀疏模型的深度圖上採樣以及基於紋理合成的深度圖超解析度算法。所提算法既充分考慮了深度圖自身平坦、稀疏的特性又同時考慮了其在虛擬視點合成中的幾何映射機制，既能提升深度圖自身的信噪比，又能顯著提升虛擬視點合成的質量。紋理圖超解析度方面，提出了基於字典學習和錨定鄰域回歸的圖像超解析度、協同表示的圖像超解析度、基於自適應局部非參數回歸的圖像超解析度算法。所提方法能夠離線訓練最優的稀疏表示字典，並從中快速選擇與待上採樣圖像片最為接近的稀疏基，既能顯著提升上採樣圖像的信噪比，又能大幅度提升上採樣的速度。該方法可套用於空間解析度非對稱紋理視頻壓縮，能夠有效降低視頻壓縮碼率，提升視頻重建質量。