基於視覺特性的高效視頻編碼研究

《基於視覺特性的高效視頻編碼研究》是依託北京大學，由高文擔任負責人的聯合基金項目。

基本介紹

• 中文名：基於視覺特性的高效視頻編碼研究
• 項目負責人：高文
• 項目類別：聯合基金項目
• 依託單位：北京大學

項目摘要

基於香農資訊理論原理的以圖像像素與規則塊為處理對象的視頻壓縮方法使用多年，形成了當今的混合編碼技術框架。但該技術框架已面臨嚴重的發展瓶頸，其編碼效率的提高主要依賴以增加實現複雜度為代價的微細粒度計算，因此難有大的提升空間。近年來隨著研究的逐步深入，人們發現人類視覺系統對視覺信息處理的粒度與現有基於傳統資訊理論的方法有很大不同，如果我們能將人類視覺系統的處理模型引入現有視頻編碼技術框架，將有可能取得重要突破。為此，本項目研究基於視覺特性的編碼方法。項目以圖像和視頻等視覺信息為處理對象，研究基於模型的視覺特徵提取、表示與編碼方法，提出視知覺熵，視知覺資訊理論的概念，解決視覺信息表示和編碼的基本理論問題，建立視覺信息編碼理論體系和框架，改進現有基本編碼算法工具集，突破新一代視頻壓縮標準的技術瓶頸，力爭所研究的技術被H.265國際標準以及AVS2等國家標準所採用。

結題摘要

本項目是一個融合神經科學、認知科學、計算科學等學科的綜合性項目，主要是借鑑腦科學和神經科學的最新研究成果，以視知覺基本機理研究為出發點，探索圖像/視頻信息表示和編碼的新理論與新方法，構建較為完整的視覺計算模型，突破新一代視頻壓縮核心技術，推動我國視頻產業實現跨越性發展。其主要技術難點包括視覺信息的表示、視知覺熵的定義及測量，視覺率失真編碼理論，視知覺資訊理論等。在視覺計算模型與基於視覺特性的高效視頻編碼表達方面，提出了基於韋伯定律的局部描述子、稀疏編碼局部描述子以及圖像條帶局部特徵等物體表示和檢測方法，並在此基礎上提出了基於目標檢測和背景建模的監控視頻編碼方法，大大提升了視頻編碼的壓縮效率。在圖像稀疏表示與編碼理論方面，提出了基於圖像基元的視覺熵概念與視覺失真量度方法，並在此基礎上進行基於視覺特性的率失真最佳化編碼研究，以及基於結構特性的視覺質量評價方法，為提出新一代視頻編碼技術奠定了理論和技術基礎。在高效編碼技術與國際與國內標準制定方面取得突出進展。其中基於背景建模的監控視頻編碼技術作為AVS新一代編碼標準的典型代表成為IEEE國際標準P1857的一部分；作為重要主導單位之一成功制定了國家廣播電影電視行業標準AVS+並頒布實施；制定了AVS 3D視頻編碼標準並在廣州亞運會節目轉播中試播成功。 項目組在取得研究性成果的同時，還開發了2D-3D專業製作系統，基於AVS的立體電視系統，以及多路編碼器主觀測試控制系統等多個套用原型系統或驗證平台，這些系統為後續研究工作提供了平台和基礎。發表學術論文72篇，申請國家發明專利20項，其中已授權4項；培養博士16名、碩士20名；組織國際學術會議1次，參加國際學術會議12人次以上。