面向視頻立體化套用的運動人體三維建模方法研究

《面向視頻立體化套用的運動人體三維建模方法研究》是依託浙江工商大學，由王慧燕擔任項目負責人的面上項目。

基本介紹

• 中文名：面向視頻立體化套用的運動人體三維建模方法研究
• 項目類別：面上項目
• 項目負責人：王慧燕
• 依託單位：浙江工商大學

項目摘要

本項目的總體目標是面向單目視頻立體化的套用需求，研究解決視頻場景中多視圖幾何原理不適用的運動人體的深度恢復問題，以期在高效時空一致性視頻分割技術、基於三維掃描的互動式人體三維形狀和姿態建模以及服裝建模、基於視頻的人體三維運動恢復與幾何模型重建、缺損或遮擋動態目標的時空一致性信息修複方法等幾個方面的研究取得突破，獲得視頻序列中運動人體的精確深度信息，創建視頻中著裝運動人體的高質量三維模型，並集成課題組在自動攝像機跟蹤與深度恢復、場景互動深度恢復等方面的研究成果，研發一個高效便捷的單目視頻立體化原型系統，並探索其在電影、電視、廣告、動漫等二維視頻的立體化產業中的套用，促進計算機視覺與圖形學的學科交叉與理論完善，為三維影視產業及相關產業的發展提供理論和技術支撐。

結題摘要

本課題圍繞單目視頻立體化的運動人體互動式三維重建開展研究與關鍵技術攻關，達到了課題既定目標，完成了各項指標，取得了多項具有自主智慧財產權的原創性成果。本課題的主要研究成果如下：在面向立體視頻生成的視頻分割和運動人體特徵表達方面，提出了一種基於攝像機參數和深度信息的時空一致性視頻分割方法，能很好的保持目標邊界，不會出現閃爍。提出了一種基於融合特徵和改進的聚合決策森林算法的視頻語義分割方法，適用於多種不同場景，具有較強的魯棒性。提出了一種基於多層次深度特徵融合的人體特徵表達，可以提高人體目標的識別率。提出了一種非監督的多視角的特徵降維算法，使在不同視角子空間構建的k近鄰相似度圖能夠最大兼容。提出了一種基於空間位置和局部特徵融合的特徵構造方法。在基於單幀圖像的互動式人體三維形狀和姿態建模研究方面，提出了一種基於卷積神經網路的單幀圖像深度恢複方法，能夠提高深度預測準確度，可套用於三維建模或者二維視頻的三維立體化。提出了一種基於輪廓的姿態遷移方法，優於以前提出的基於部位檢測的算法。提出了一種級聯的混合深度學習結構，用於人體的姿態建模，可適用於小目標，並且具有較好的實時性。在基於視頻的人體三維運動恢復與幾何模型重建方面，提出了一種基於多視圖採樣方法的三維幾何重建方法，能提取完整的場景幾何模型。提出了一種基於場景樣本庫的視頻圖像深度提取方法，可將已有的深度圖片中的深度值遷移到目標圖片，減少人工互動，準確率高，速度快。提出了一種基於多尺度卷積網路的單目圖像深度估計方法，估計得到的深度具有較高的解析度，能保留場景中所有對象的深度細節信息，具有更好的視覺效果。在動態目標的時空一致性信息修複方面，提出了一種系統化的虛擬視圖合成和補全算法，可對目標視頻合成過程中產生的空洞自動進行填充，大大降低了立體視頻的製作成本。基於以上研究創新，研製了一個立體化視頻生成原型系統。