基於反向紋理合成的視頻編碼技術研究

《基於反向紋理合成的視頻編碼技術研究》是依託武漢大學，由王中元擔任項目負責人的聯合基金項目。

基本介紹

• 中文名：基於反向紋理合成的視頻編碼技術研究
• 項目類別：聯合基金項目
• 項目負責人：王中元
• 依託單位：武漢大學

項目摘要

傳統混合視頻編碼技術利用信號統計特性進行壓縮，壓縮效率的提高依賴於以複雜度增加為代價的技術細化，進一步提高壓縮效率已陷入瓶頸。利用人眼視覺特性的視覺編碼方法突破了現有編碼框架的局限，成為新的技術發展趨勢，代表性技術基於紋理分析與合成的視頻編碼方法成為研究熱點。針對現有方法對變化豐富的視頻紋理編碼並不具備通用性問題，本課題研究基於反向紋理合成的視頻編碼方法。如何確保全局變化的非均勻紋理合成的時域一致性是反向紋理編碼的關鍵。首先，利用視覺顯著度模型，實現自動、魯棒地紋理提取。然後，提出基於運動補償時域濾波的反向紋理合成算法，生成反映全局紋理特徵的紋理摘要圖像，作為解碼端紋理合成的樣本，並搜尋原始紋理和紋理摘要圖像的匹配關係和光流場統計信息。同時，研究能表征圖像感知保真度而非像素保真度的紋理合成控制信息生成模組的失真度量模型。預期本算法能適應更多的複雜紋理類型，在同等主觀質量下，碼率減小20%。

結題摘要

本項目對基於紋理合成和反向紋理合成的高效視頻編碼關鍵算法展開研究，挖掘圖像紋理本身的內容自相似性和視覺不敏感性等特性，結合計算機圖形學領域的紋理合成與反向紋理合成的技術手段，提升壓縮效率，提高解碼圖像的視覺質量。 1、基於反向紋理合成的幀內編碼與刷新算法 針對當前方向幀內預測編碼模式有限、預測來源單一的問題，本項目將反向紋理合成模型引入混合視頻編碼技術中，提出了基於圖像摘要的幀內預測編碼框架，設計了壓縮導向的圖像摘要生成方式，在給定的圖像摘要情況下，編碼塊的預測可由圖像摘要生成，編碼傳輸原始圖像與圖像摘要之間的映射關係以及提取出來的圖像摘要。顯著提高H.264/AVC幀內預測的編碼效率，在相同碼率下，峰值信噪比平均能提升0.64dB以上。研究論文發表在IEEE Trans. CSVT上。 2、基於紋理一致性的幀內編碼方法 針對當前幀內模板匹配預測精度不高的問題，提出了基於邊界紋理一致性的模板匹配預測編碼方法，在模板匹配中，在絕對差和（或均方差）的基礎上，引入邊界紋理一致性約束，提高模板匹配預測與當前編碼塊周圍像素之間的紋理一致性，並分別設計了二維和一維數據塊的幀內自適應濾波預測算法。相對於幀內模板匹配預測編碼效率最高提升0.387dB，平均提高0.178dB。 3、基於反向紋理合成的幀間編碼方法 針對當前基於紋理分析合成的視頻編碼方法過於依賴紋理先驗知識，難以實現紋理的自動提取，並忽略了視覺注意機制等問題。提出了基於反向紋理合成的視頻幀間編碼方法，使用反向紋理合成模型描述紋理可移除宏塊與周圍宏塊的關係，並結合視頻顯著度模型，構建紋理可移除宏塊的判定準則。將紋理宏塊定義為圖像信息包含在周圍宏塊中的可移除宏塊，能用周圍宏塊對其重建，為保證重建圖像的主觀質量，強制地將視覺顯著區域標記為不可移除塊。在解碼端，採用了全局運動補償和紋理最佳化結合的方式對紋理移除塊重建，以確保紋理的時空一致性，與H.264/AVC方法相比，在相同主觀質量的情況下，本編碼方法降低碼率5%到20%，與Njiki-Nya Patrick等人提出的基於紋理分析合成的編碼方法相比，不但能實現自動的紋理提取，在低碼率端，編碼碼率得到進一步節省。 在完成上述工作的過程中，發表論文32篇（其中期刊9篇），申報發明專利11項，向AVS標準化組織提交技術提案3項，編碼技術在3G手機視頻監控系統中套用。