基於層次選擇性注意的高效視頻編碼算法研究

《基於層次選擇性注意的高效視頻編碼算法研究》是依託同濟大學，由張冬冬擔任項目負責人的青年科學基金項目。

基本介紹

• 中文名：基於層次選擇性注意的高效視頻編碼算法研究
• 項目類別：青年科學基金項目
• 項目負責人：張冬冬
• 依託單位：同濟大學

中文摘要

基於視覺注意的感知編碼是近年來視頻編碼領域的研究熱點之一。目前相關研究普遍採用基於空間的視覺注意建模方法檢測顯著區域並對其進行優先編碼。這類方法在提高編碼效率方面取得了一定成功，但由於建模過程中沒有考慮物體的整體顯著性及視覺的層次選擇過程，會導致顯著目標檢測不準，從而無法高效地去除視覺冗餘。視覺認知研究表明層次選擇性注意模型能夠很好地刻畫視覺注意從物體群組-群組中的物體-物體特徵-空間點的由粗到細的層次選擇過程，可以獲得更準確的多層次的顯著圖。因此本項目同時考慮不同位置的局部顯著性和視覺注意的不同層次的物體整顯著性，針對空時顯著性相似物體，研究視覺注意相關的高效變換方法，針對視覺注意的不同層次人眼所能感覺到的視覺失真不同，建立多層次融合的感知失真模型，針對視頻圖像中存在的多層次視覺冗餘信息，探索顯著性相關的殘差濾波及多層次碼率控制方法，從而實現基於層次選擇性注意的高效視頻編碼。

結題摘要

傳統的感知視頻編碼方法在失真建模過程中較少考慮視覺注意的層次選擇特性，從而無法高效地去除視頻編碼中的視覺冗餘。為此，本項目研究了如何利用層次選擇性視覺注意來建立更符合人眼視覺特性的感知失真模型，並研究了在所建感知模型基礎上如何更加有效地提高視頻編碼效率。本課題在如下研究方向做出了貢獻： 1. 提出了一個新的DCT域內JND模型。通過考慮視覺注意力效應和對比度掩蔽效應的共同作用，該模型在相同主觀質量條件下同最新的DCT域JND模型相比，能夠多容忍0.52dB的噪聲。 2. 提出了一個像素域內基於層次選擇性注意的JND模型。該模型在相同主觀質量條件下同最新的像素域JND模型相比，能夠多容忍0.84dB的噪聲。 3. 提出了一個基於多層次選擇注意機制及雙目抑制效應的3D-JND模型。該模型在相同的立體主觀質量條件下同最新的3D-JND模型相比，左視角和右視角可以分別多容忍0.35dB和2.1dB的噪聲。 4. 提出了一個基於立體視覺注意力機制和結構相似度的3D繪製圖像的客觀質量評價模型。該模型和主觀評測結果具有較高的相關度，能夠對3D繪製圖像進行有效的客觀評測，從而避免了主觀評測的繁瑣過程。 5. 提出了一個基於DCT域JND的HEVC模式選擇及變換過程中殘差係數濾波方案。和HEVC相比，該方案在low delay和random access兩種情況下可以分別節省10.31%和7.69%的編碼碼字。 6. 提出了一個基於像素域JND的HEVC碼率控制方案。該方案在給定碼率的情況下，不但可以減少幀之間的PSNR波動，還可以對幀內編碼碼字進行更加合理的分配，有效地改善了編碼幀的主觀質量。本課題按計畫順利進行，完成了預定的研究內容，取得了一些階段性的研究成果。發表SCI/EI論文12篇；申請國家發明專利7項，其中已獲得授權專利2項。