《基於自然手勢的三維互動技術研究》是依託浙江大學，由張明敏擔任項目負責人的面上項目。
基本介紹
- 中文名：基於自然手勢的三維互動技術研究
- 依託單位：浙江大學
- 項目負責人：張明敏
- 項目類別：面上項目
項目摘要,結題摘要,
項目摘要
在本項目中，我們通過研究手部幾何特徵提取、靜態與動態手勢識別等途徑進行自然手勢的三維人機互動。通過提取一些魯棒的特徵信息，從而避免了整個手部結構信息恢復帶來的高時間複雜度以及不魯棒性；對於靜態與動態手勢的識別，利用我們已有的權值特徵流與膚色模型的多模式手跟蹤算法，解決自然手空間位置的三個自由度跟蹤問題，並將該算法用於動態以及靜態手勢識別中，進一步提高手勢互動語義的多樣性以及穩定性；把手勢互動歸結為基於點、線、面的統一互動模式。最後，我們開發三維互動原型系統，並將之套用於虛擬現實以及增強現實。計畫在頂級國際會議、國際期刊和國內一級學報發表高水平論文4-6篇。
結題摘要
在三維人機互動系統中，實時、穩定的多手指跟蹤能讓用戶像操作真實物體一樣去操作虛擬物體，因此能帶來非常好的用戶體驗，而且它能提供手的三維結構信息，因此也能促進手勢識別算法的準確性和魯棒性。 在手勢識別與跟蹤部分，本項目主要工作包括三個部分：（1）利用普通攝像頭進行實時穩定的手區域跟蹤；（2）利用微軟Kinect實現靜態手勢識別；（3）利用Kinect實現動態手勢識別。 手勢擬合是一種使用三維程式創建虛擬手並調整其參數使之能夠和攝像機獲取的手勢最為匹配，來完成指尖跟蹤與手勢識別的一種方法。針對在手勢擬合過程中難以同時滿足精度和速度要求的現狀，本項目提出並實現了一種高效的通過使用普通攝像頭來擬合手勢的方法。實現表明該方法可以彌補普通攝像頭缺少深度信息造成的不足，提高手勢識別率。同時在一些無法檢測到指尖的情況下也能有不錯的表現。 在套用研究方面，基於像素分類的二維指尖檢測算法，我們實現了一個二維人機互動套用：隔空觸摸；基於三維軌跡跟蹤算法，我們實現了兩個三維互動套用：積木擺放和虛擬物體瀏覽。同時，根據對人體自然互動的識別與跟蹤算法，我們還實現了兩個延伸實驗原型:數字皮影和人臉卡通動畫。
