基於時空特徵融合的中國手語識別研究

《基於時空特徵融合的中國手語識別研究》是依託北京工業大學，由李敬華擔任項目負責人的青年科學基金項目。

基本介紹

• 中文名：基於時空特徵融合的中國手語識別研究
• 項目類別：青年科學基金項目
• 項目負責人：李敬華
• 依託單位：北京工業大學

項目摘要

手語是一種視覺語言，手語基元由連續的時空動作表達，手語識別研究有利於聽力障礙人群之間以及與健聽人之間的無障礙交流，有利於推動自然人機互動的發展。傳統的基於圖像/視頻的手語識別方法通常是基於預定義的特徵提取方法，容易受手語動作時空變化（如速度、持續時間）、遮擋、光照、視點、個體差異等因素影響，提取的手語特徵精確度不高。本項目面向自然條件下非接觸式手語識別的需求，針對有效的、魯棒的手語基元特徵提取問題，藉助深度和紋理兩種感知數據，研究中國手語基元的張量表示方法，以有效描述手語基元的時空相關性；面向手語多層次特徵提取問題，研究基於張量的深度學習模型；建立融合深度和紋理數據流信息的融合分類模型。

結題摘要

手語識別是模式識別領域的重要研究內容，它廣泛套用於聾啞人教育教學、虛擬現實、人機互動以及機器人操作等領域。目前，雖然已有一些手語識別的研究成果，但由於表達手語的手勢的複雜多變性，基於視頻的手語識別仍存在著數據表示不適應新數據、特徵魯棒性低、識別率不高等問題。本項目針對手語識別在數據表示、時空特徵提取和識別分類方面面臨的挑戰性問題，在張量和深度學習理論指導下，研究了手語手勢的張量表示方法，面向張量變數的深度學習模型，以及多通道融合分類模型。具體完成了以下五個方面的研究工作： （1）設計搭建了最佳化的手語數據採集平台，採集構建了中國手語資料庫，該資料庫包含138個不同的手語詞以及常用句子和段落； （2）針對面向手語表達的深度圖像質量差、噪聲大的問題，提出了基於噪聲回響字典學習的手部深度圖像去噪方法，以及基於曲率尺度空間特徵的手部骨架點提取方法；解決了手部深度圖像去噪及手部特徵點提取問題。 （3）針對手語視頻的時空結構特點，提出基於預定義先驗特徵和卷積神經網路學習的手語張量表示方法，有利於魯棒、自適應地表達高維手語數據。 （4）針對手語數據的不同張量表示方法，提出了面向張量變數的系列深度學習模型，擴展了深度學習模型的套用範圍，有利於提取手勢數據的時空特徵。 （5）針對傳統手語視頻數據單一的缺點，提出了多源數據流信息的融合分類模型，利用多個模式數據的互補提升表現力，從而利於分類。 基於以上研究內容，項目組取得了較好的研究成果。在國際國內期刊及國際學術會議發表(含已錄用)論文7篇，其中國際期刊論文3篇，國內期刊論文1篇，國際學術會議論文3篇；申請國家發明專利3項；培養碩士研究生3名。