多視點視頻的高維聯合稀疏表示與編碼研究

《多視點視頻的高維聯合稀疏表示與編碼研究》是依託天津大學，由楊敬鈺擔任項目負責人的面上項目。

基本介紹

• 中文名：多視點視頻的高維聯合稀疏表示與編碼研究
• 項目類別：面上項目
• 項目負責人：楊敬鈺
• 依託單位：天津大學

項目摘要

多視點視頻技術在醫療、軍事、影視等領域有著廣泛的套用前景，而編碼是支撐這些套用的關鍵技術之一。基於二維（時間維與視角維）預測結構的編碼框架難以充分利用信號的高維聯合相關性，多視點視頻的數據量對存儲和傳輸仍然是很大的挑戰。本項目利用信號稀疏表示理論，以去除多信號的高維聯合相關為切入點，研究多視點視頻編碼的新框架與新方法。主要內容包括：研究多視點視頻的低維流形結構，進而構建高維聯合相關模型；建立高維聯合稀疏表示模型，並針對單一稀疏變換矩陣適應性不足的問題，設計基於圖像特徵分類的稀疏變換矩陣；探索稀疏量化失真與重構失真的內在相關聯繫，揭示碼率與稀疏度的映射關係，並研究稀疏係數的結構化以實現高效的編碼方案。本項目中針對多視點視頻高維聯合稀疏表示的研究可以進行更一般的推廣，從而完善信號稀疏表示理論，所構建的編碼新框架經充分發展後可突破多視點視頻數據量對實際套用的約束，具有重要的理論意義與實用價值。

結題摘要

多視點視頻技術在醫療、軍事、影視等領域有著廣泛的套用前景，而編碼是支撐這些套用的關鍵技術之一。基於二維（時間維與視角維）預測結構的編碼框架難以充分利用信號的高維聯合相關性，多視點視頻的數據量對存儲和傳輸仍然是很大的挑戰。本項目利用信號稀疏表示理論，以去除多信號的高維聯合相關為切入點，研究多視點視頻編碼的新框架與新方法，構建多視頻視頻的採集、處理以及壓縮平台。本項目研究了多視點視頻的高維聯合相關模型，引入視覺注意模型，以高效去除空時冗餘和視角冗餘之外的視覺冗餘。我們搭建兩種立體視頻採集系統，在構建系統的過程中遇到了圖像噪聲複雜，深度圖降質嚴重兩個問題。為此，我們提出了基於稀疏表示理論的信號相關噪聲水平估計方法，顯著提升信號相關噪聲水平的估計精度；提出了深度的自回歸表示模型以及高效恢複方法，在恢復高解析度深度圖方面獲得了文獻中最好的精度。此外，我們還探索了立體圖像與視頻的高效分割，為更高效的多視點視頻編碼提供新工具。