《基於三維視覺及形狀匹配的全自由度自然手勢識別》是依託清華大學，由劉敏擔任項目負責人的青年科學基金項目。
基本介紹
- 中文名：基於三維視覺及形狀匹配的全自由度自然手勢識別
- 依託單位：清華大學
- 項目負責人：劉敏
- 項目類別：青年科學基金項目
項目摘要,結題摘要,
項目摘要
基於視覺的手勢識別是利用視頻手勢進行自然人機互動的關鍵。受限於2D計算機視覺技術的約束，目前基於視覺的手勢識別系統在實際推廣中還存在許多技術難點，主要包括複雜背景下的手勢分割；手勢模型的高自由度所帶來的識別難度；視角與遮擋造成的識別準確度差；以及動態手勢跟蹤與識別中的計算複雜度等問題。深度攝像機的推廣套用為手勢識別帶來了新的機遇和挑戰。本課題基於深度攝像機所獲取的3D視頻手勢，以全自由度關節模型驅動的三維動態可變形虛擬手格線建模為切入點，重點研究三維關節變形體的部分形狀匹配技術，通過形狀檢索及模板匹配技術獲得靜態手形關節參數估計。以手形參數為基礎，融合手勢的位置、方向及空間運動軌跡，課題進一步研究基於虛擬手模型的動手勢參數軌跡與參考模板之間的彈性匹配問題,並考慮人手校正，提高系統的識別精度，從而為基於3D攝像機的動靜態手勢識別系統提供關鍵技術和支撐框架。
結題摘要
近年來手勢識別成為人機互動中一個比較熱門的研究領域，先後出現了多種多樣的識別方法。傳統方法大多基於二維圖像進行手勢識別。相比於傳統攝像機而言，深度相機能夠提供更加豐富的幾何信息，深度相機技術的不斷成熟為基於深度圖的手勢識別帶來了可能。在識別方面，深度圖容易實現背景的剔除，能夠解決識別多義性的問題，並提供精度更高的三維點雲數據。然而目前深度圖的識別也存在相當多的問題待解決，如計算複雜、噪聲影響大，局部點雲模型上的特徵提取困難等問題。 本課題基於深度攝像機所獲取的3D點雲手勢，重點研究了點雲數據的去噪，特徵提取以及三維關節變形體的形狀匹配技術。課題以全自由度骨架模型驅動的三維可變形虛擬手格線建模為切入點，在建立的手勢模板資料庫的基礎上，依靠曲率顯著性特徵運算元，提取了模型手上的關鍵特徵點作為特徵進行形狀匹配，從而獲得了手形參數。以手形參數為基礎，融合手勢的位置、方向及空間運動軌跡，課題進一步研究了基於虛擬手模型的動態手勢跟蹤問題，為基於3D攝像機的動靜態手勢識別系統提供了關鍵技術和支撐框架。 目前所實現的手勢識別系統可達到基本實時的手勢識別速度（約每秒30幀），同時系統具有對噪聲，手勢速度變化等較強的魯邦性。
