基於空間感知的混合現實徒手自然互動技術研究

《基於空間感知的混合現實徒手自然互動技術研究》是依託浙江大學，由萬華根擔任項目負責人的面上項目。

基本介紹

• 中文名：基於空間感知的混合現實徒手自然互動技術研究
• 依託單位：浙江大學
• 項目負責人：萬華根
• 項目類別：面上項目

項目摘要

混合現實作為一種新興的三維用戶界面形式，引起了研究人員的極大關注。徒手自然互動作為其中的制高點，為許多套用領域所亟需。本項目以用戶對混合現實環境的空間感知為切入點，以徒手互動運動的實時捕獲和用戶互動意圖的理解為研究核心，對混合現實徒手自然互動的用戶需求分析與可用性/用戶體驗評估及互動空間建模、增強用戶空間感知的虛實融合繪製方法、複雜背景下的人手分割及魯棒的實時運動跟蹤、徒手自然互動動作的表示及用戶意圖識別等問題展開深入研究，力爭突破混合現實徒手自然互動中的關鍵技術，將真實人手這一天然的實物工具引入混合現實環境，實現人與現實-虛擬連續體的直觀、自然、和諧的互動。

結題摘要

混合現實作為一種新型的三維用戶界面形式，引起了研究人員的極大關注。徒手自然互動作為其中的制高點，為許多套用領域所亟需。本項目以用戶對混合現實環境的空間感知為切入點，以徒手互動運動的實時捕獲和用戶互動意圖的理解為研究核心展開研究，取得了一定的研究成果。首先，在對混合現實徒手自然互動進行需求分析、可用性/用戶體驗評估的基礎上，建立了人手自然互動模型，通過引入雙四元數表示，在不損失互動效率的前提下，有效地提高了人手互動模型的質量；其次，從多角度探索研究了增強用戶感知的虛實融合繪製技術，提出了魯棒的基於計算機視覺的攝像機跟蹤方法、建立了具有空間一致性的集成式混合現實用戶創作工具、提出了適合於用戶理解的具有深度提示效應的虛實融合繪製方法；最後，在研究複雜背景人手分割及運動跟蹤方法的基礎上，提出了基於軌跡分割的徒手互動動作的表示及用戶意圖識別方法。項目突破了混合現實徒手自然互動的關鍵技術，為將真實人手這一天然的“實物工具”引入混合現實環境，實現人與現實-虛擬連續體的直觀、自然、和諧的互動打下了重要基礎。項目共發表學術論文9篇（其中SCI期刊論文２篇，EI期刊論文２篇，核心期刊論文２篇），申請國家發明專利3項（獲批2項），培養研究生9人。本報告主要從人手自然互動建模、增強用戶感知的虛實融合繪製技術、基於軌跡分割的徒手互動動作的表示及用戶意圖識別方法等方面比較全面地總結了項目研究成果。