基於時域選擇特性和分級掩蔽的視頻感知編碼研究

《基於時域選擇特性和分級掩蔽的視頻感知編碼研究》是依託武漢大學，由王中元擔任項目負責人的面上項目。

基本介紹

• 中文名：基於時域選擇特性和分級掩蔽的視頻感知編碼研究
• 項目類別：面上項目
• 項目負責人：王中元
• 依託單位：武漢大學

項目摘要

近年來隨著視頻業務的規模化和高質量化，海量視頻數據的傳輸和存儲面臨巨大壓力。基於視覺感知機理的視頻編碼，通過模擬人眼的注意選擇性和掩蔽機制去除視頻中的主觀冗餘，突破了傳統編碼思路的局限。但是，現有方法忽略了人眼的時域選擇性，大量時域主觀冗餘無法去除；另外，當數據失真大於掩蔽閾值時，由於圖像發生結構性的變化，基於掩蔽機制的失真模型不再準確，去除空域主觀冗餘成為難題。針對以上問題，申請者首先將視頻內容的時域重要性和變化性引入到基於關注度的視頻編碼中，通過將視頻劃分成不同的時域層次，最佳化分級編碼的幀級碼率分配；其次，在頻域的可察覺失真閾值模型中引入關注度因素，得到更精確的視覺閾值，並用於最佳化頻域濾波和幀間預測編碼；最後，通過對基於掩蔽機制的視頻失真進行分段定義，建立加權MSE形式的失真模型，並以此最佳化塊級的碼率控制。預期本算法在同等主觀質量下能降低20%的編碼碼率，顯著提升視頻服務的實際效能。

結題摘要

本項目面向視覺感知編碼的基本理論問題，研究基於時域選擇特性和分級掩蔽的視頻感知編碼技術，提升壓縮效率，搭建視頻感知編碼框架，開展編碼效果的驗證測試。 （1）時空域關注度分析技術 傳統的關注區域建模方法在實際套用中受到光線變化、環境噪聲、前景物體運動速率變化等因素的影響，前景物體提取的效果不佳，甚至造成前景物體漏檢。為此，本項目研究基於時空域關注度分析的背景減除技術。通過分析光線變化、環境噪聲、前景物體運動速率等因素對時空域關注度圖的影響，明確空域關注度圖和時域關注度圖之間的對應關係，建立時空域關注度的融合模型，將固定背景更新速率擴展為自適應調整；在此基礎上，研究基於時空域關注度分析的背景減除算法，有效的提升了關注區域提取的性能，實驗表明本方法的F值較參考算法從0.43提升到0.7，為後續的編碼和處理奠定了基礎。 （2）基於關注度的可分級編碼技術 在關注度分析的基礎上，本項目將視頻信號分成不同的關注度層次，即基本層和若干增強層，然後進行分級編碼。在視頻幀的時域層次映射步驟中，本項目提出兩級分層的思想：第一次分層考慮場景內容的重要程度，通過分析關注度的時域變化，將GOP劃分成不同的時段；第二次分層考慮場景內容的變化程度，將代表性的視頻幀映射到較低的層次。進而，根據關注程度的不同最佳化幀級的碼率分配，達到在碼率受限的情況下，優先保證感興趣區域的編碼質量。 （3）基於Foveated JND模型的視頻感知編碼技術 傳統的JND閾值的視頻感知編碼對於非關注特徵分配了大量的編碼資源，存在大量視覺選擇性冗餘和認知冗餘，編碼資源不能集中到關鍵目標區域的辨識特徵上。為此，本項目建立DCT域Foveated JND模型，通過分析視覺偏心率和圖像頻域信息掩蔽閾值之間的關係，將視覺選擇特性引入基於頻域JND閾值的殘差濾波模型。同時研究基於結構相似性約束的視頻編碼，將圖像塊分成主要結構和次要結構，分析不同層次圖像結構對圖像內容認知的影響，建立基於主結構分析的圖像失真模型，將傳統的數據相似性度量擴展為結構感知的相似性度量。該方法在保證關注區域辨識度的情況下，編碼碼率降低15%以上，提升了監控系統在低碼率情況下保存圖像辨識特徵的能力。 完成上述工作的過程中，發表論文18篇（其中期刊8篇），申報發明專利9項，向AVS標準化組織提交技術提案3項，編碼技術在3G手機視頻監控系統中套用。