基於輕量模型的立體視頻轉換生成與編碼技術研究

《基於輕量模型的立體視頻轉換生成與編碼技術研究》是依託北京大學，由王榮剛擔任負責人的面上項目。

基本介紹

• 中文名：基於輕量模型的立體視頻轉換生成與編碼技術研究
• 項目負責人：王榮剛
• 項目類別：面上項目
• 依託單位：北京大學

項目摘要

數字視頻技術和套用正在經歷從平面到立體的變革，立體視頻開始被套用到3D電影、3D電視廣播、移動和網際網路3D視頻點播等各個領域。但是，與平面視頻相比，立體視頻內容匱乏、內容生成難度大，立體視頻的數據量成倍增長、存儲和傳輸的成本急劇增加，成為制約立體視頻大規模套用推廣的瓶頸問題。本項目在已有的立體視頻內容生成和編碼技術基礎上，研究新型基於對象的輕量級立體視頻表示模型，研究基於該表示模型的互動式平面視頻到立體視頻的內容轉換生成技術和高效的立體視頻編碼技術，將二者融合構造完整的立體視頻服務框架。目前的一些實驗結果表明：基於對象的輕量級表示模型將立體視頻內容生成和編碼相融合，不但可以提高立體視頻轉換生成質量，同時可以大幅度的提高所生成立體視頻的編碼效率。本項目的研究成果將為立體視頻內容的快速生成和網路傳輸提供關鍵技術，同時向國內外立體視頻標準貢獻技術提案。

結題摘要

立體視頻逐漸被套用3D 電影、3D 電視廣播、虛擬現實等各個領域。但是，與平面視頻相比，立體視頻內容匱乏、內容生成難度大，立體視頻的數據量成倍增長、存儲和傳輸的成本急劇增加，成為制約立體視頻大規模套用推廣的瓶頸問題。本項目研究新型基於對象的輕量級立體視頻表示模型，研究基於該表示模型的互動式平面視頻到立體視頻的內容轉換生成技術和高效的立體視頻編碼技術，將二者融合構造完整的立體視頻服務框架。本項目提出基於輕量模型的3D視頻編碼算法，該算法基於前景輪廓和背景深度模板的輕量模型來代替傳統的深度圖表示，進一步降低了3D視頻編碼的碼率，比國際上主流的MVC算法編碼效率提升了30-40%。提出基於顏色分塊的深度圖全局估計方法，在專業視差估計算法評測平台Middlebury的測試中排名第2（共140餘算法）。項目負責人領導制訂了國際網際網路視頻編碼標準MPEG ISO/IEC 14496-33: Internet Video Coding草案，該標準的編碼效率超過了由谷歌公司主導提出的VCB標準和由蘋果公司主導提出的WebVC標準，成為目前國際上最先進的免專利費標準。本項目組提出的分像素濾波器、去塊效應濾波器和自適應塊變換等技術提案被該標準採納。 項目負責人還領導了國際虛擬現實視頻編碼標準IEEE 1857.9:Immersive Visual Content Coding 的草案制定，本項目提出的3項專利技術：基於雙極方形映射的全景視頻映射模型，基於感興趣區域的全景視頻映射模型和基於動態碼流切換的全景視頻非均勻映射模型被該標準採納，碼率比傳統全景視頻編碼方法節約20%~70%。本項目組提出的運動矢量預測和加權量化2項專利技術被AVS2標準採納。在視頻處理和編碼領域公認的高水平國際期刊和會議上發表了論文30篇，包括IEEE Signal Processing Magazine, IEEE Transactions on Image Processing，IEEE Transactions on Circuits and Systems for Video Technology等國際頂級期刊論文6篇，SCI論文11篇。申請發明專利10項、培養博士後、博、碩士研究生20名。研究成果在騰訊獲得轉化套用。超額完成了項目預期的各項目標。