《3D Holoscopic密集視點視頻編碼方法研究》是依託上海大學，由安平擔任項目負責人的面上項目。
基本介紹
- 中文名：3D Holoscopic密集視點視頻編碼方法研究
- 項目類別：面上項目
- 項目負責人：安平
- 依託單位：上海大學
中文摘要,結題摘要,
中文摘要
立體及多視點三維顯示由於容易引起視覺疲勞和頭痛等不舒適的觀感從而進入發展的瓶頸，Holoscopic成像也即集成成像因其舒適的觀看體驗和比全息成像更為簡單的成像設計，成為下一代3D視頻技術的發展方向。Holoscopic成像生成的密集視點視頻的數據量遠遠高於多視點視頻數據，研究高效的密集視點視頻壓縮編碼方法是亟待解決的問題。本項目擬研究密集視點視頻的自相關模型、預測編碼方法、以及可分級編碼方法，通過建立密集視點視頻的自相關性預測理論模型，制定提高塊匹配精度和預測編碼效率的策略，設計可分級編碼架構和研究具有良好後向兼容性的可分級編碼方法，獲得一套針對3D密集視點視頻的高效、實用的編碼方法，解決現有編碼方法未能充分利用密集視點視頻特性、效率低、複雜度高、以及不能兼容現有3D內容生成及其立體顯示方式等問題。項目研究成果將豐富3D視頻編碼理論，推進三維Holoscopic成像技術的發展。
結題摘要
3D Holoscopic成像，即光場成像，可同時記錄光線的位置和角度信息，實現數字重聚焦、全景深擴展、自由立體顯示等傳統成像所不具備的創新功能，是新一代視覺技術的發展方向。但高維密集的光場成像數據量給存儲和傳輸帶來巨大挑戰，如何高效壓縮光場圖像是光場成像面向套用的瓶頸。本項目圍繞高維密集光場數據壓縮編碼展開，主要研究內容及成果如下：(1)以幀內預測為核心，提出5種性能逐級提高的光場透鏡圖像壓縮算法，性能優於高效視頻編碼標準HEVC的幀內編碼方法，信噪比PSNR提高2.67dB，碼率下降36.32%。(2)利用子孔徑圖像之間的強相關性，提出單視和多視光場偽視頻編碼方法，比HEVC幀內編碼PSNR提高2.71dB、碼率降低44.05%。性能優於透鏡圖像及經典子孔徑圖像編碼方法。(3)為進一步提升編碼效率和應對實際套用中網路延遲問題，提出光場圖像稀疏編碼框架，在此基礎上提出兩種光場可分級編碼方法，比HEVC幀內編碼PSNR提高3.58dB，碼率降低51.35%；還提出一種解碼端CNN超分辨增強的稀疏編碼方法，比典型偽視頻編碼PSNR提高2.85dB、碼率降低66.9%。在高效壓縮的同時滿足快速傳輸和解碼的需求。(4)充分利用光場角度域相關性和稀疏性，構建多視加深度視頻(MVD)光場圖像稀疏編碼框架。在以深度-虛擬視失真指數模型最佳化MVD率失真函式基礎上，提出3種深度估計和編碼策略逐級最佳化的編碼方法，比經典子孔徑編碼PSNR提高2.59dB、碼率下降64.76%，總體性能達到最佳。(5)提出基於感知對抗和漸進式網路環路濾波、基於卷積自編碼機幀內預測、及基於CNN編碼單元結構快速決策算法，顯著提高了HEVC、JVET視頻編碼性能，為進一步研究智慧型光場圖像編碼打下基礎。(6)系統地提出充分考慮人眼感知特性和圖像內容特點的全參考、半參考和無參考的立體圖像質量評價模型，滿足不同套用需求；構建光場圖像質量評價數據集，提出利用光場圖像稀疏特性和重聚焦特性的光場圖像質量評價方法，緩解了缺乏光場圖像評價數據集和方法的問題。發表SCI檢索期刊論文25篇、EI檢索會議論文23篇；申請發明專利5項，含授權3項。研究成果豐富了光場數據處理理論，促進了光場技術的套用發展。
