自然場景統計的二維視頻立體重建

《自然場景統計的二維視頻立體重建》是依託南京大學，由曹汛擔任項目負責人的面上項目。

基本介紹

• 中文名：自然場景統計的二維視頻立體重建
• 項目類別：面上項目
• 項目負責人：曹汛
• 依託單位：南京大學

項目摘要

立體視頻具有高沉浸感、高逼真呈現的特點，在航空航天、軍事訓練、醫療教育、文化傳媒等領域有著廣闊的套用前景，是未來信息系統的前沿技術。然而，當前立體視頻產業面臨著內容匱乏、觀看不適等瓶頸問題，造成這些問題的本質是目前對於自然場境深度感知規律的認知不足，以及立體視頻生成方法在精度、效率、穩定度方面存在問題。 本項目擬研究自然場景統計的二維視頻立體重建。通過深度圖資料庫的建立和統計分析理論建立自然場景深度的機率模型，探索深度感知的自然規律；然後，運用自然場景深度先驗信息研究高精度二維視頻深度估計方法；進而研究時域穩定、空域平滑的立體視頻重建方法並構建加速平台，通過重建立體視頻的人因分析結果反饋最佳化深度感知模型。 本項目旨在實現高精度、高效、穩定的二維視頻立體重建方法和實際系統，為揭示自然場景的深度感知規律和緩解當前立體視頻產業的內容困境提供支撐。

結題摘要

本項目針對平面視頻立體重建這一難題，研究了自然場景統計的基礎理論，在立體重建的關鍵技術研究和系統套用方面取得了創新成果：在自然場景統計理論研究方面，建立了對自然場景的深度感知機制和機率模型，提出了自然場景深度先驗下的平面視頻深度估計方法；在立體視頻重建的關鍵技術研究上，開發了視覺舒適度引導的立體視頻渲染方法，使重建出的立體視頻更符合人類視覺系統對場景深度的感知規律，有效改善了立體視頻觀看的視覺舒適度；提出了遮擋區域的類型判斷與空洞填充算法，有效增強了立體視頻的立體觀看效果。在系統和套用方面，本項目開發實現了高精度、高效、穩定的立體視頻轉換系統，並研發了室外人體三維重建系統。在項目實施過程中，課題組成員在IEEE Signal Processing Magazine、IJCV、IEEE T-IP、IEEE T-CSVT、IEEE T-MM、IEEE CVPR等重要學術期刊和會議上發表了18篇高質量學術論文，得到了全球範圍內10餘位院士、30餘位IEEE/SPIE/ACM Fellow的引用和積極評價；申請了27項國家發明專利（含國際PCT 1項），授權發明專利14項，出版“十二五國家重點圖書”著作1部，獲軟體著作權2項。所開發技術套用於聯合國文化遺產大足石刻三維重建，國內首部真人CG電影《爵跡》的製作。項目組完成了預期的研究目標，在理論和關鍵技術研究上取得了突破，培養了一支具有國際競爭力的立體視頻研究隊伍，為後續研究奠定了堅實的基礎。