《基於3D視覺注意的自由視點視頻編碼與傳輸》是依託西安交通大學，由蘭旭光擔任項目負責人的面上項目。
基本介紹
- 中文名：基於3D視覺注意的自由視點視頻編碼與傳輸
- 項目類別：面上項目
- 項目負責人：蘭旭光
- 依託單位：西安交通大學
中文摘要,結題摘要,
中文摘要
目前免除眼鏡觀看3D效果的超高清自由視點視頻編碼（3DV/FTV）對壓縮性能提出了更高的要求，而傳統的編碼算法消除的主要是統計信息冗餘，本課題將研究基於3D視覺注意的3DV/FTV視頻編碼的基礎理論和核心算法，在消除統計信息冗餘的基礎上，進一步消除視覺信息冗餘，提高壓縮性能。研究內容主要包括基於深度神經網路模擬視覺系統的3D注視點及注意模型，基於3D視覺注意的視頻感知失真模型，虛擬視點合成失真模型，3D紋理視頻和深度（Depth）視頻的聯合失真模型及率失真最佳化模型，3D視覺注意引入的聯合率失真最佳化模型，及3DV/FTV中深度視頻的感知編碼等算法和關鍵技術。針對動態網路環境下，研究3D視覺注意視頻編碼在聯合信源信道編碼下碼率控制，及相關3D視覺感知質量自適應的編碼，力圖解決動態網路環境下基於3D視覺注意的3DV/FTV視頻的自適應視覺感知質量傳輸問題。
結題摘要
自由視點能夠為人們提供免除立體眼鏡觀看視頻的全浸感和互動式功能，以獲取更加逼真的、身臨其境的觀感，已成為國內外研究機構和工業界的關注熱點。多視點視頻系統在遠程視頻通信、人工智慧、大數據、虛擬現實、醫學研究、3D導航及視頻監視等領域均有著巨大的需求與套用前景。本課題研究3D效果的高清自由視點編碼（3DV/FTV），通過分析視頻內容，提取感興趣片段和區域，並提出根據基於視頻內容理解的高效編碼算法，實現對3DV/FTV的實時編碼和傳輸。主要研究成果（1）在多視點內容理解方面研究了面向多視點視頻編碼的目標檢測的視頻及場景內容理解方法，並將其套用於3D視頻編碼；提出了一種多視點視頻中姿態理解和分析方法，姿態預測方法，以及不同姿態及光照條件下人臉重建；提出了一種結構保持型變分自編碼器，可以實現視頻內容的理解與表示；提出了一種基於多模態聚合後驗對齊網路的廣義零樣本學習方法，以用於多視點數據的自動標註。（2）在多視點編碼中的率失真建模方面，提出了一種基於顯著性的聯合失真建模的3D視頻編碼和視頻編碼量化算法，及一種基於高斯混合模型和物體邊界的壓縮感測深度視頻編碼方法；（3）針對多視點的分散式編碼問題，提出了一種基於壓縮感知和高斯混合模型的分散式視頻編碼方法，並構建了在波動網路情況下的線上可變長碼率編碼方法。本課題的研究成果為高效、可靠的3DV/FTV視覺注意視頻編碼和傳輸提供了理論基礎、核心算法與關鍵技術，促進了我國在這一領域的創新和發展。同時課題研究中也形成了具有自主智慧財產權的發明專利、專有技術和核心算法，為我國在3DV/FTV視頻媒體綜合服務相關標準的制定貢獻力量。 完成系統成果：基於視覺注意的自由視點（3DV/FTV）視頻編解碼器；在IEEE Trans. Image Processing, Trans. Multimedia等國際期刊論文9篇。IEEE CVPR, AAAI，IROS等頂級國際會議論文15篇，總計24篇論文；申請發明專利4項，其中授權1項；培養博士3人，其中與美國和英國等高校聯合培養2名博士生，碩士9人。
