《視頻三維立體化技術研究》是依託浙江大學，由章國鋒擔任項目負責人的面上項目。
基本介紹
- 中文名：視頻三維立體化技術研究
- 依託單位：浙江大學
- 項目負責人：章國鋒
- 項目類別：面上項目
項目摘要,結題摘要,
項目摘要
正在承擔的青年科學基金項目主要是研究如何從圖像/視頻中恢復高質量的深度和三維信息，目前取得了重要進展，已在國際頂級期刊（TPAMI、TVCG）上發表論文2篇，視覺頂級會議（ICCV、CVPR、ECCV）上發表3篇，其它重要國際會議論文2篇（EI檢索），國核心心期刊3篇，申請專利4項（其中1項已授權）。結合目前的視頻三維立體化熱潮，本項目將在原有的工作基礎上繼續深入和完善，研發一套完整的自動和互動相結合的視頻三維立體化方法，解決視頻的三維立體化難題。重點研究：複雜場景的時空一致性深度恢復技術，能夠處理嚴重的遮擋、無特徵區域以及動態場景的高質量深度恢復；快速的時空一致性視頻互動分割與深度賦予技術；面向立體視頻合成的時空一致性補全技術，解決基於圖像的繪技術由於遮擋造成的圖像內容缺失問題，保證生成的立體視頻的高質量。在此基礎上，本項目還將搭建起一個完整的視頻三維立體化原型系統，驗證所提出的方法。
結題摘要
三維視頻技術作為當前影視技術的主流發展方向，具有巨大的產業前景。為此，本項目深入研究了視頻三維立體化中的各種問題，研發了一整套自動和互動相結合的視頻三維立體化技術，在國內外期刊和會議上發表了11篇高水平論文，申請了4項國家發明專利（其中3項已授權）和5項軟體著作權。主要研究內容和重要結果包括：1、在攝像機跟蹤方面，研發了一整套面向大尺度場景的運動推斷結構和同時定位與地圖構建技術，在場景的規模、精度和計算效率上都取得了重要突破（在普通PC上能實時處理超過9萬幀的長視頻序列），能夠高效地將多視頻序列高效地匹配起來並註冊到同一個三維坐標系下，穩定性超過ORB-SLAM、LSD-SLAM、VisualSFM和OpenMVG等國際著名開源軟體；在此基礎上，針對移動設備計算能力有限的特點，對框架進一步改進和最佳化，在移動設備上做到了實時，並能處理相機快速運動和強旋轉的情況；2、在深度恢複方面，提出了一系列自動和半自動的深度恢複方法（包括基於多目視頻的時空一致性深度恢復、互動式深度恢復和基於深度學習的單張圖像自動深度預測等），解決了高效、高質量的深度恢復難題；3、在三維幾何重建和紋理映射方面，提出了一系列三維重建方法，包括自適應點雲採樣與建模、基於圖像序列的互動式三維建模和基於深度相機的魯棒三維重建等，並在此基礎上將拍攝的圖像作為紋理映射到三維幾何模型上，通過最佳化每個面片的最優紋理圖像對應關係和梯度域融合來消除紋理拼接縫隙，最終成功地實現了物體和場景的高效三維掃描和真實感重新表達；4、在視頻分割方面，提出了一系列自動和半自動的視頻分割方法，包括基於深度恢復的時空一致性分割、基於形狀先驗的視頻對象分割和針對靜態場景的互動式多層分割，大大提高了視頻分割的效率和質量；5、通過整合以上各項研究成果設計了一個高效的面向影視作品的三維立體化框架，並搭建起一個完整的視頻三維立體化原型系統，在實際的電影2D轉3D上得到了成功套用。
