《面向FTV視點繪製的多視點視頻與深度聯合編碼研究》是邵楓為項目負責人，寧波大學為依託單位的青年科學基金項目。
基本介紹
- 中文名：面向FTV視點繪製的多視點視頻與深度聯合編碼研究
- 項目類別：青年科學基金項目
- 項目負責人：邵楓
- 依託單位：寧波大學
項目摘要,結題摘要,
項目摘要
自由視點電視（FTV）是一種新型的具有立體感和視點互動操作功能的視頻系統，能夠讓用戶從不同的視角欣賞場景，體驗到身臨其境的視覺體驗，被認為是下一代電視系統的發展方向。多視點視頻與深度的場景表示方式，會產生龐大的數據量及較高的編碼複雜度，對FTV的編碼技術提出了巨大的挑戰。本項目研究解決兩個基本的科學問題：一是如何建立深度與彩色視頻的聯合機理來進行聯合編碼方案的設計；二是深度編碼失真對虛擬視點圖像繪製的影響機理及聯合編碼的碼率分配問題。主要研究內容為：分析深度與彩色視頻之間的特徵及聯合機理，為聯合編碼提供理論依據；建立聯合預測機制來進行聯合編碼方案的設計；研究深度編碼失真對虛擬視點圖像繪製的影響機理，建立聯合率失真模型來解決聯合編碼的碼率分配問題；對繪製圖像進行質量評價，進一步修正聯合編碼方案。本項目的工作將為FTV系統的研究提供理論和方法，對未來FTV接收機的研發提供關鍵技術。
結題摘要
自由視點電視（FTV）是一種新型的具有立體感和視點互動操作功能的視頻系統，能夠讓用戶從不同的視角欣賞場景，體驗到身臨其境的視覺體驗，被認為是下一代電視系統的發展方向。多視點視頻與深度的場景表示方式，會產生龐大的數據量及較高的編碼複雜度，對FTV的編碼技術提出了巨大的挑戰。本項目研究解決兩個基本的科學問題：一是如何建立深度與彩色視頻的聯合機理來進行聯合編碼方案的設計；二是深度編碼失真對虛擬視點圖像繪製的影響機理及聯合編碼的碼率分配問題。本項目主要研究內容包括：考慮到聯合編碼是求取最優視點繪製的問題，建立對彩色視頻和深度視頻進行編碼的率失真模型，並採用率失真模型來特徵化碼率與視點合成失真的關係，以實現較高的繪製性能和碼率控制性能；通過對立體視頻掩蔽效應的定性和定量分析，得到雙目最小可察覺閾值並考慮色度信息損失不會對感知質量產生影響，為主視點視頻分配較多碼率以保證立體視頻的主觀質量，而為輔助視點分配相對較少的碼率以提高壓縮效率，由此改變傳統主輔視點一致的對稱編碼方法，實現主輔視點間的非對稱編碼，進一步提高編碼和繪製性能；並就影響編碼性能的顏色校正和質量評價問題進行深入研究，提出基於時空變化模型的多視點視頻顏色校正方法，以提高編碼和繪製性能，並提出基於感知的立體圖像質量評價方法，來進一步指導聯合編碼方案的設計，以獲得整體性能最優的FTV/3DV系統設計。本項目組在IEEE Transactions on Image Processing, IEEE Transactions on Multimedia等重要學術期刊及ICME等國際會議上錄用及發表了30篇學術論文（SCI/EI收錄分別為10/28篇次）、獲得授權發明專利4項，並另申請發明專利17項、提交國際標準提案1項。項目負責人邵楓入選為“浙江省新世紀151人才工程第三層次”。鑒於本項目的突出成果繼續獲國家自然科學基金青年科學基金-面上項目連續資助。
