《基於視覺感知的多視點視頻編碼研究》是依託上海大學，由王永芳擔任項目負責人的面上項目。
基本介紹
- 中文名：基於視覺感知的多視點視頻編碼研究
- 項目類別：面上項目
- 項目負責人：王永芳
- 依託單位：上海大學
中文摘要,結題摘要,
中文摘要
本項目將結合申請人在基於視頻編碼研究的前期工作和相關學科的最新成果，針對目前多視點視頻編碼往往利用統計、空間、時間、視間相關性來提高編碼效率，而較少考慮人眼的視覺特點的現狀，探索一種基於視覺感知的多視點視頻編碼的方法。該方法首先提出一種視覺關注度調製的恰可覺察失真模型，以適應多視點視頻編碼特點和增強編碼的可靠性。然後在該模型的指導下，研究高增益、能充分體現人眼視覺特徵、用戶需求的多視點編碼理論和方法，提出基於視覺感知的準確的顏色校正算法、快速的視差估計方法以及高效的自適應量化策略。預期本項目可取得具有自主智慧財產權核心技術的研究成果，可用於自由視點視頻、自由視點電視、立體電視以及沉浸式視頻會議等領域。
結題摘要
本項目主要探索基於視覺感知的多視點視頻編碼（MVC）的方法。獲得主要成果如下：（1）針對恰可覺察失真（JND）模型的精確性及複雜性問題，提出面向多視點視頻的最佳化的DCT域及像素域的JND模型，使JND模型更加符合人眼的視覺特性，相比於現有的JND模型，在複雜度不高的情況下，可容忍更多的失真。（2）針對如何套用人眼感知特性來提高多視點視頻編碼問題，提出了基於JND模型的編碼殘差濾波預處理方法，該方法能有效去除多視點視頻編碼中的視覺冗餘數據，編碼的碼率最大節省26.7%；提出了基於JND的多視點視頻量化編碼算法，在保證主觀質量不變的情況下，可使MVC的碼率降低14.68%；提出了感知的多視點視頻快速去塊濾波方法，相比於JMVC，在不影響主觀質量下，可節省21.6%的濾波時間；提出了感知的多視點視頻編碼幀間模式判決與最佳化方法，相對於JMVC，平均編碼時間可節省61-67%的運算量，同時優於存在的算法；（3）針對如何提高MVC的綜合性能問題，提出一種利用視間相關性的低複雜去塊濾波方法，相比於JMVC，在主觀質量一樣時，可降低約37%的濾波處理時間；提出一種利用多視視差的繪製方法，與相關的方法相比，平均可有2.3dB 的PSNR增益；提出一種二項式RD模型的多視點視頻碼率控制算法，相比於JMVC方法，不僅獲得0.2dB PSNR增益，而且能有效地控制視間碼率；提出了一種基於直方圖分割的多視點顏色校正方法，其校正效果從主觀質量到客觀視差平均值均優於全局顏色校正方法。上述研究成果，獲得了具有自主智慧財產權的成果，並對我國在自由視點視頻、自由視點電視、立體電視以及沉浸式視頻會議等多視點視頻方面的套用提供技術支撐。
