《基於多個小型微慣性/磁強計測量單元的手勢識別研究》是依託清華大學，由方斌擔任項目負責人的青年科學基金項目。
基本介紹
- 中文名：基於多個小型微慣性/磁強計測量單元的手勢識別研究
- 依託單位：清華大學
- 項目負責人：方斌
- 項目類別：青年科學基金項目
- 批准號：61503212
項目摘要,結題摘要,
項目摘要
手勢識別的關鍵是人手臂運動信息的可靠捕獲及識別。本課題利用多個小型微慣性/磁強計測量單元研製新型的手勢捕獲裝置，可以檢測左右手臂、手掌和每根手指的運動狀態。同時考慮測量單元自身誤差和裝置穿戴誤差，研究整體標定的方法。針對感測信息的模態不同、數據量大、噪聲干擾等問題，研究魯棒濾波器進行數據融合。根據雙臂和雙手的加速度、角速度、姿態、速度、位移量等信息，將提出基於稀疏編碼的手勢識別算法。最後，通過手勢測試實驗和機械手臂的遙操作實驗完成理論成果的實驗驗證。.通過本項目研究，可以建立一套完整的手勢識別系統，能提出基於多個小型微慣性/磁強計測量單元的整體標定方法、數據融合和手勢識別理論，同時為雙臂、雙手的運動功能評估、人-機-環的互動運動機理研究等提供可靠的基礎研究數據源，促進機器人遙操作、康復工程、運動醫學等多個方向發展，並且在國民經濟和軍事國防領域具有重要的理論意義和實際套用價值。
結題摘要
微慣性感測器因體積小、易集成、動態特性好等優點而被廣泛套用。本文就是基於微慣性器件研製了新型的穿戴裝置，可以同時捕捉手指和手臂的運動信息，並進行手勢識別與人機互動，可以識別多種靜態和動態的手勢，並可以實現遙操作機器人完成相應任務。具體的研究工作包括以下內容： (1) 研製了基於慣性器件的手指運動捕捉裝置。首先設計了小型的微慣性感測單元，可以放置在手指背上。提出了高效的嵌入式姿態估計算法，可以解算獲得全手指的姿態信息。最後，通過仿真說明了算法有效性，並利用該裝置對多種手指精細操作動作進行了捕捉分析。(2) 研製了全手勢動作捕捉裝置。通過18個感測單元捕捉大臂、小臂、手掌以及每一個手指關節的運動信息。提出的全標定算法可以對所有感測器進行誤差補償，提高了感測器精度。同時提出最佳化姿態估計算法，得到了全手勢姿態。並且結合手臂長度信息，得到了每一個手指末端的位置。最後通過仿真驗證了算法有效性，利用機械臂評估了裝置的精度，並開發了互動顯示界面，實時捕捉了精細手勢動作。(3) 研究了基於數據手套的手勢識別算法。建立了手勢識別的系統框架，提出了基於kernel ELM（超限學習機）的手勢識別算法。首先建立靜態和動態手勢資料庫，建立一個包括10種靜態手勢的數據集，以及一個包括16種動態手勢的數據集。然後分別提出了靜態識別算法和動態識別算法。最後和其他算法進行了比較，驗證了基於ELM手勢識別算法的有效性。(4) 研製了基於數據手套的人機互動作業系統。分別利用10自由度機械手臂系統、11自由度機械手臂系統和7自由度仿人機械臂系統上設計了基於數據手套的人機互動操作方法，通過關節角映射、位置映射算法，實現了自然人機互動，並通過實驗驗證了系統有效性。(5)建立了手語數據集，提出了基於深度學習的複雜手語識別方法。
