基於壓縮感知融合深度的三維視頻編碼關鍵技術的研究

《基於壓縮感知融合深度的三維視頻編碼關鍵技術的研究》是依託上海大學，由王國中擔任項目負責人的面上項目。

基本介紹

• 中文名：基於壓縮感知融合深度的三維視頻編碼關鍵技術的研究
• 項目類別：面上項目
• 項目負責人：王國中
• 依託單位：上海大學

中文摘要

為了實現自由視點的立體視頻系統，需要傳輸多個視點數據及其對應的深度信號，並在接收端進行虛擬視點的合成。面對數據量龐大、編碼後視點合成質量不高以及實時性較差等問題，需要探索兼具採集簡單、複雜度低、魯棒性較好且利於視點合成的三維視頻編解碼方法。本課題在深入分析分散式壓縮感知、分散式視頻編碼、多視點視頻編碼、虛擬視點繪製以及人眼視覺特性等理論的基礎上,研究一種全新基於壓縮感知融合深度的三維視頻編碼系統方法，探索低複雜度、魯棒性較好融合深度的三維視頻編解碼理論。項目的研究內容包括：基於分散式壓縮感知的深度編碼模型研究、基於壓縮感知融合深度的三維視頻編碼系統及最佳化、基於虛擬合成視點質量的視覺壓縮感知分析模型。本項目旨在探索新的三維視頻編碼理論，解決目前自由式立體視頻在採集、壓縮和傳輸中存在的問題。預計本項目所獲得的具有智慧財產權的研究成果，將有助於推進我國3DTV的發展。

結題摘要

自由視點視頻編碼是3DTV中重要的組成部分，如何找到一種高效、 低複雜、高採樣率的理論及方法有重要的理論和實際意義。本項目充分考慮3DTV系統特點提出了一種基於壓縮感知融合深度的三維視頻編碼系統，系統研究主要分為三維系統平台及最佳化、基於壓縮感知的深度圖像理論及方法、面向虛擬視點視覺壓縮感知以及分散式深度序列壓縮感知編碼系統。主要研究內容及成果如下： 研究三維編碼系統平台及最佳化。平台的最佳化主要涉及深度獲取、虛擬視點繪製、三維編碼、紋理視頻編碼以及碼率控制等方面。該部分的研究獲得了大量的研究成果也為後續項目的開展奠定了理論及套用基礎 研究基於深壓縮感知理論度圖像理論及方法。提出了一種面向深度圖像自適應多級分塊壓縮感知採樣及重構方法。該方法深入研究了深度圖像特點，並構建了一種面向深度的採樣及重構模型，為項目進一步開展提供了理論依據與方向。 研究面向虛擬視點繪製視覺壓縮感知。根據三維視頻特點，提出了一種面向虛擬視點繪製的自適應分塊壓縮感知算法及壓縮感知編碼量化設計，為系統進一步的完善提供了新的方法與技術支撐 研究分散式壓縮感知深度序列編碼系統研究。根據上述研究內容的成果，進一步深入研究基於壓縮感知深度序列編碼系統。提出了一種聯合空間和時間稀疏度的深度序列壓縮感知方法，並建立了分散式壓縮感知系統，並對系統中邊信息的獲取及最佳化進行了探討，建立了適合深度序列的理論模型。 發表論文26篇，其中SCI收錄3篇，EI收錄9篇；提交國家標準提案5項，採納1項，國際標準5項，採納1項；申請發明專利4項，授權1項；培養研究生12人，3名博士，9名碩士，已全面完成計畫任務，該研究為三維視頻編碼提供了新的方向與思路，研究成果也為其套用提供了理論和技術支撐。