基於光照感知的自體視三維顯示光場數據增強技術研究

《基於光照感知的自體視三維顯示光場數據增強技術研究》是依託上海交通大學，由盛斌擔任項目負責人的面上項目。

基本介紹

• 中文名：基於光照感知的自體視三維顯示光場數據增強技術研究
• 項目類別：面上項目
• 項目負責人：盛斌
• 依託單位：上海交通大學

項目摘要

本項目針對自體視三維顯示過程中存在的深度解析度不足、視點合成容易失真、多視點圖像顏色不一致，色彩協調困難等瓶頸問題，研究稀疏視點條件下基於光照感知的光場數據增強技術。首先，在構建顏色數據與深度數據關聯性模型基礎上，研究基於深度學習與色彩引導的深度圖超解析度技術，彌補深度感測與光學感測在採樣解析度上的差距，實現光場深度數據的解析度增強；然後，通過深度紋理實現對於複雜三維場景的緊湊表達，研發基於深度圖像的自適應渲染和空洞修補技術，通過光照感知最佳化消除光照失真影響，實現高真實感的虛擬視點合成效果；最後，在光照細節保持模型的基礎上，研究光照保持的多視點圖像顏色的一致性增強與編輯方法，避免光照細節丟失，產生與場景光照環境一致的色彩增強效果。本項目有望促進影視創作、互動娛樂以及虛擬現實等產業的發展，具有重要的研究意義。

結題摘要

項目整體實施順利，各項任務按預定計畫完成。項目組高質量的完成了既定目標，共發表高水平論文37篇（其中SCI論文21篇，EI論文16篇），取得了豐碩的研究成果；項目主要參與人申請國家級工程技術中心，夯實和加強了課題組的研究基礎，構建並完善了實驗室的研究梯隊；在國內外交流方面，課題組成員在ICMR、ACM Multimedia、CASA、ACM VRCAI、CGI、CASA、PIC等知名國內外會議上作論文/短文宣講，進一步擴大了課題組的學術影響力；在人才培養方面，課題負責人共培養6名博士（3人畢業），15名碩士（9人畢業）。本項目研究工作已經取得了堅實的成果。在圖像著色方面，本項目提出了一種基於神經網路集成的全自動著色方法。首先提取了包含不同信息的特徵，並將其作為神經網路的輸入，然後結合聯合雙邊濾波來生成無偽影的著色圖像。相關結果已發表在IEEE Transactions on Image Processing。在深度圖像超解析度方面，本項目提出了一種從粗到細的級聯卷積神經網路結構。通過結合較大的邊緣保留濾波器和較小的濾波器來獲得並最佳化粗糙的深度圖，可以獲得更好的高解析度深度圖像。在不同數據集上進行的實驗證明了我們提出的方法的有效性。相關結果已發表在IEEE Transactions on Image Processing。在圖像合成方面，本項目使用基於模糊寬度學習系統的多視圖LDR圖像來合成HDR圖像。此方法可以合成包含更多細節和更少重影的HDR圖像。相關結果發表在IEEE Transactions on Cybernetics。在視頻合成方面，本項目基於梯度一致性最佳化提出了照明引導的視頻合成，實驗表明了該方法的有效性和高質量的視頻幀合成。相關結果已發表在IEEE Transactions on Image Processing。在視頻剪下方面，本項目提出了使用八邊形敏感最佳化的光照不變性視頻剪下，用來實現高質量的視頻剪下和剪下效率。