三維視頻視覺質量增強關鍵理論與方法

《三維視頻視覺質量增強關鍵理論與方法》是依託浙江大學，由虞露擔任項目負責人的面上項目。

基本介紹

• 中文名：三維視頻視覺質量增強關鍵理論與方法
• 依託單位：浙江大學
• 項目負責人：虞露
• 項目類別：面上項目

項目摘要

基於深度圖像視點繪製的三維視頻系統因只需要少數幾個視點的數據即可支持多種顯示設備和不同觀看者的需求，因此成為立體視頻與多視點視頻之後被逐漸廣泛接受的三維視頻數據格式。對於這樣的三維視頻系統，內容獲取、壓縮編碼、虛擬視點合成、立體視頻對構成均可能引入失真，進而影響主觀視覺質量，特別是雙目圖像的差異化失真可能造成在大腦中無法融合為穩定單一的影像而引發雙目競爭，造成觀看不適。因此本項目擬研究高效三維視頻編碼和有效的後處理，主要包括：研究由多幀、多視點、紋理附加深度數據構成的編碼圖像包的高層編碼結構最佳化理論和方法；研究融合空間、時間、視間多線索的多重視頻預測編碼理論和方法；建立雙目競爭視覺特性計算模型，並探索相應的失真檢測方法和抑制算法，等等。通過上述研究，預期明顯提升三維視頻系統的運行效率和三維視頻觀看舒適度，減輕因長期觀看三維視頻對人體生理的副作用，從而促進三維視頻技術的廣泛套用。

結題摘要

隨著顯示技術和內容製作技術的不斷發展，三維視頻套用日益廣泛，但三維視頻的觀感質量仍被長期詬病。本項目圍繞雙目視覺感知特性及體驗質量的客觀度量、基於感知質量度量的三維視頻高效編碼這兩個三維視頻視覺質量增強的核心科學問題開展研究，從源頭上揭示視覺感知規律，從視頻內容上提升觀看質量，助力推動三維視頻產業發展。 本項目取得的重要研究成果包括： 在雙目視覺感知特性及體驗質量的客觀度量方面：引領開展針對視頻內容的雙目競爭現象的相關研究，建立了首個開放使用的人工標註雙目競爭圖像資料庫。建立了基於雙目對比度差異的競爭檢測計算模型，該模型達到了在自然場景圖像上與人工檢測準確率相當的水準。率先在視頻質量評價中引入雙目競爭的因素，完善了視覺感知質量的客觀評價體系，通過使用基於圖像的競爭檢測模型，使視頻質量評價難題獲得新的突破。 在基於感知質量度量的三維視頻高效壓縮編碼方面：建立了基於頻域分析的合成視點預測誤差分析數學模型，依此指導確定了超多視點和自由視點三維視頻編碼的基本編碼結構、選定了重要編碼參數，演化出了新的高效編碼工具，編碼效率提升10%以上，在國際標準組織中引領超多視點和自由視點編碼標準的工作，為新一代標準制定提供了理論支撐和技術證據。 項目期間，總共發表論文24篇，其中SCI收錄論文12篇；申請專利14項，其中國際專利3項；向國內視頻編解碼標準AVS提交相關提案11項，其中6項提案被採納；向國際視頻編解碼標準MPEG提交相關提案27項，其中關於全向視頻客觀質量評價方法的1項提案被採納；向國際沉浸式視頻編解碼標準IEEE 1857.9提交相關提案7項。