《面向繪製質量的深度提取及其編碼方法研究》是依託上海大學，由安平擔任項目負責人的面上項目。
基本介紹
- 中文名：面向繪製質量的深度提取及其編碼方法研究
- 項目類別：面上項目
- 項目負責人：安平
- 依託單位：上海大學
中文摘要,結題摘要,
中文摘要
發展三維視頻（3DV）技術是自由視點電視技術現階段的主要任務，其中的深度增強格式的3DV編碼是尚未解決的核心問題。目前的研究方法大多將3DV處理鏈中深度估計、深度圖壓縮和視合成質量這三者單獨研究，性能上難以突破。本項目通過研究人眼的立體時空敏感度特性、深度變化對繪製失真的影響，建立深度-3DV質量關係的模型，以從整體上提高3DV系統性能；利用深度圖和視頻圖之間既關聯又區別的特點，建立二者的聯合深度估計和聯合深度編碼模式，發展快速高效的深度獲取及編碼方法；基於深度-3DV質量模型提出將繪製視質量與深度預測模式相結合的深度編碼率失真模型以及深度圖運動估計模式自適應選擇模型，有望可從整體上獲得繪製失真小、編碼效率高，計算複雜度低的深度編碼新方法。本項目研究可獲得3DV深度編碼的理論成果，對促進3DV的國際標準化進程和面向套用有積極作用。
結題摘要
3D視頻（3DV）是新一代視頻技術發展方向，多視視頻加深度（MVD）格式的3DV是當前研究熱點。研究高效深度估計和壓縮算法，在保證虛擬視合成質量前提下降低深度編碼傳輸碼流及提高壓縮速度，有重要的理論價值和實際意義。本項目充分考慮深度獲取、MVD編解碼、終端虛擬視合成之間的相互影響，主要研究內容及成果如下： 研究人眼立體視覺感知特性以衡量3DV系統質量：提出雙目立體視頻最小可辨失真模型並利用視覺關注和邊緣差異信息評價立體視頻質量，評價結果更接近主觀感知；提出恰可察覺深度差異模型，生成深度質量提高1.47dB。 研究深度失真-虛擬視失真關係模型及其在深度編碼中的作用：提出深度變化-繪製失真估計模型及基於該模型的深度編碼方法，獲得2dB編碼增益；提出深度-虛擬視失真指數模型，深度編碼性能提高0.62dB且複雜度降低20%；提出紋理-深度-虛擬視失真模型，用於改進深度圖編碼的率失真方案並進行紋理-深度聯合比特分配，獲得0.3dB編碼增益且率控制精度小於1%；提出結合紋理圖和深度圖特性的虛擬視失真估計函式，編碼性能提高0.26dB，編碼時間減少31%。 研究高效深度圖獲取與多視繪製方法：提出局部立體匹配深度圖生成快速算法，虛擬視繪製質量提高1.44dB；提出基於邊緣的深度圖生成和自適應時域加權深度增強方法，可克服深度匹配不連續和時域不一致性問題；提出基於FPGA的全高清實時深度估計系統，速率達60幀/秒，可作為獨立模組嵌入3DV套用系統；還提出多種Kinect深度修復和TOF深度圖超解析度方法，進行精確的主動式深度獲取。 研究面向實用的低複雜度MVD編碼：提出利用紋理和深度相關性的MVD編碼，減少70.4%的編碼時間；提出基於視點相關性的去塊濾波，減少35%-6%的濾波時間；提出利用彩色視頻編碼信息的深度編碼，在保持編碼質量前提下複雜度降低80%；提出最小化編碼比特率和複雜度的3DV編碼，降低70%的深度編碼複雜度和20%的比特率；提出以深度信息輔助紋理編碼的MVD編碼快速模式選擇算法，減少61%的複雜度；提出面向實用的快速模式判決算法，節省66%的運行時間。 發表論文53篇，其中SCI收錄11篇，EI收錄41篇；出版專著1部，提交國家標準化提案3項，申請發明專利5項，已全面完成計畫任務，研究成果為3DV系統的發展和套用提供了理論和技術基礎。
