面向增強現實的虛擬化身行為建模關鍵技術研究

《面向增強現實的虛擬化身行為建模關鍵技術研究》是依託山東大學，由秦學英擔任項目負責人的面上項目。

基本介紹

• 中文名：面向增強現實的虛擬化身行為建模關鍵技術研究
• 項目類別：面上項目
• 項目負責人：秦學英
• 依託單位：山東大學

中文摘要

虛擬化身行為建模是對具有智慧的人類活動的模擬,而增強現實技術是指將虛擬景物融入真實世界，強調與真實世界的聯繫。本項目旨在研究視頻式增強現實環境中,虛擬化身與真實視頻場景的自然互動融合的關鍵問題，研究內容主要包括：動態視頻場景中可達區域的重建、基於視覺跟蹤的動態行為感知、虛擬化身與真實世界的行為互動與規劃。本項目研究靜態、半動態、動態景物並存環境中，對攝像機、視頻式頭盔等多視點自由拍攝視頻進行分析，研究場景可達區域的幾何結構與具有語義的地圖離線重建，以及地圖的線上更新及維護技術；採用計算機視覺與機器學習的理論與方法，研究線上動態多目標的三維實時跟蹤定位，以及群組行為的分析、建模與學習，並用於研究虛擬化身的自然行為建模與模擬，產生逼真的虛實間的互動和避讓行為；將虛擬化身實時融入線上實拍視頻，在外觀上與周圍環境融洽，並使虛擬化身、機器人、真實人和諧共處同一視頻空間。

結題摘要

本項目旨在研究虛擬化身與真實世界的無縫實時融合問題。其最大挑戰在於準確感知場景中的動態物體和角色動態，使得虛擬化身能針對真實世界的變化，做出符合社會規範的回響。為此，我們在真實場景的動態感知方面進行了深入的研究工作，在動態目標的二維及三維跟蹤、基於Kinect的深度圖像增強、基於Kinect的動作識別、基於視頻的跨時空融合等有重要研究進展；在光照環境實時參數估計以及動態前景的實時遮擋處理等方面也取得進展。 由於Kinect場景建模技術的進步，場景的動態地圖構建更多地歸結為動態物體的探測，從而產生虛擬化身甚至機器人的避讓行為，因此我們更多地從目標跟蹤和自然互動的角度展開研究，以適應新的學科發展動向。動態目標跟蹤是為了感知真實場景中物體或者角色的運動，二維跟蹤藉助靜態三維模型確定對象的三維位置，而三維跟蹤則能夠直接確定其空間位置和姿態，從而實現虛擬化身的行為規劃。基於Kinect的深度圖像增強是為了提供動態場景的清晰深度圖，從而自動產生增強現實中高精度遮擋處理效果，也為場景的重建奠定基礎。增強現實環境是一個直觀的互動環境，因此動作的語義識別非常重要，以自然驅動虛擬物體或角色的運動。跨時空的視頻融合也是增強現實技術的核心內容，產生由不同時空採集或生成影像的融合景象。 在研究過程中，提出了一系列的新方法和新技術。在目標跟蹤方面，提出了一個基於稀疏編碼的目標跟蹤新框架，使得目標跟蹤可以在一個連續的空間中搜尋，從而提高了目標的精確性，並具備良好的可擴展性。在基於Kinect的深度圖修複方面，提出了一個基於置信度圖的方法，利用顏色圖的高解析度來補足深度圖的清晰度和局部缺失，並通過隨機森林方法訓練深度圖的深度置信度。在基於Kinect的動作識別方面，提出了對單一動作序列的與動動快慢無關的識別方法，並進一步實現了對重複動作的高精度實時識別。在光照識別方面，我們發現並證明了室外靜態場景中天空光與太陽光的基圖像理論，並給出了基圖像的物理解釋和自動求解方法。基於上述研究成果，構建了一個線上運行的增強現實環境，實現了增強現實環境中虛擬化身的互動運動驅動，並高度逼真地與現實融為一體。 本項目已經培養了5名博士和9名碩士；發表了18篇論文並有一項專利，其中有10篇SCI索引的著名國際期刊論文，包括IEEE TIP和ACM TOG等3篇頂級期刊論文。