圖像與三維模型結合的高層形狀分析研究

《圖像與三維模型結合的高層形狀分析研究》是依託北京交通大學，由萬麗莉擔任項目負責人的面上項目。

基本介紹

• 中文名：圖像與三維模型結合的高層形狀分析研究
• 項目類別：面上項目
• 項目負責人：萬麗莉
• 依託單位：北京交通大學

項目摘要

隨著文化創意、虛擬現實、動漫遊戲等新興產業在國民經濟中的作用日益突顯，三維模型的需求量也與日俱增，對三維形狀智慧型建模技術提出挑戰，而新型的建模技術以高層的形狀分析為基礎。圖像的數量豐富，但存在深度信息丟失、視角差異、遮擋等問題，而三維模型的形狀信息完整，但存在退化情況，且數量遠不及圖像豐富。本項目旨在利用圖像和三維模型數據的信息互補性更好地解決感知語義的形狀分析問題。為了兼顧同類非剛體的形狀差異和非剛體自身的豐富形變，提出非剛體三維形狀聯合分析方法，藉助圖像分割數據來保證同類非剛體的分割一致性的，同時提高算法處理模型退化情況的魯棒性；為了彌補二維形狀的信息缺失，提出結合三維形狀信息的二維形狀聯合分析方法，以期解決一些僅依賴二維形狀難以處理的問題；在研究以上兩類算法的基礎上，利用提取出的語義信息推進形狀對應、形狀檢索等基本問題的研究。本項目具有重要的科學意義和理論價值，以及廣闊的套用前景。

結題摘要

為了更好地解決圖像和三維數據的聯合分析問題，本項目研究了三維數據的智慧型分析、圖像的聯合分析，並在此基礎上，進而研究圖像與三維數據結合的人體姿態估計與檢索、人體行為的智慧型分析與預測。在三維數據的智慧型分析方面，為了兼顧非剛體自身的豐富形變與不完整模型的數據缺失問題，提出藉助稀疏表示重建誤差來度量形狀相似度的方法，並將其用於非剛體不完整模型形狀檢索與分類；為了解決三維場景模型分割中難以處理接觸物體的難點問題，提出藉助三維形狀庫來輔助決策的分割方法；將對三維運動數據的理解與民族舞蹈保護相結合，提出基於三維運動數據分割與分析的拉班舞譜自動生成方法。在圖像的聯合分析方面，為了處理複雜圖像的顯著性檢測，提出單張圖像協同顯著性檢測框架；提出結合深度學習的圖像天空區域分割方法，並將其用於圖像的剪影風格化；提出基於生成對抗網路的人臉超解析度重建方法，通過人臉組件語義信息的先驗引導，來改進生成網路和對抗網路；針對前背景顏色相近的圖像難以準確分割的問題，提出RGBD 圖像的聯合分割方法。在圖像與三維數據結合的智慧型分析方面，為了從單目圖像推理三維空間信息，針對基於樣例的三維姿態估計方法依賴於姿態樣例庫規模的問題，提出一種基於樣例增強的單目圖像的三維人體姿態估計方法，旨在通過匹配和合成策略隱式地實現樣例庫的自我擴充，增強姿態樣例庫的多樣性；針對人體姿態圖像檢索結果受視點影響的問題，提出視點無關的人體姿態圖像檢索框架，從三維角度來度量姿態的相似性。在人體行為的智慧型分析與預測方面，在研究單人行為識別、人群異常行為檢測的基礎上，進一步研究了基於深度學習的人體行為定位、人體行為預測，提出基於深度強化學習的人體行為定位模型、基於機率圖的人體行為定位模型和基於條件對抗網路的人體行為預測模型。研究成果對增強現實、視頻監控等領域均具有積極意義。