面向大類別的空中手寫中英文識別技術研究

《面向大類別的空中手寫中英文識別技術研究》是依託中國科學院大學，由王偉強擔任項目負責人的面上項目。

基本介紹

• 中文名：面向大類別的空中手寫中英文識別技術研究
• 項目類別：面上項目
• 項目負責人：王偉強
• 依託單位：中國科學院大學

項目摘要

空中手寫作為一種新型的基於視覺的人機互動方式，開展相關關鍵技術的研究（準確識別所書寫的字元或符號）具有重要的研究意義與實用價值。本項目將深入開展面向大類別數的空中手寫字元（漢字，英文，數字以及特定功能符等）識別技術研究。本項目具有如下特色：（1）我們率先使用Leap Motion三維感測器來捕捉跟蹤手指的運動軌跡；（2）除了數字，英文字母外，我們將針對更複雜的大類別數(約6900類)的漢字字元識別開展研究；（3）將率先開展具有挑戰性的中英文句子級的連續空中手寫輸入的研究；（4）支持的識別內容除覆蓋中英文、數字外，還將開展一些代表特定命令功能的手勢識別技術的研究, 以配合中英文的高效輸入以及面向特定套用的人機互動。本項目將探索基於手指運動軌跡與手的姿態相結合的新型人機互動技術，擬通過發表高水平科技論文吸引國際學者對該問題的關注，並通過建造公開大規模高質量的相關數據集推動國際上相關技術的研究。

結題摘要

空中手寫使用戶可通過手指在三維空間中進行書寫，是一種新型的人機互動方式，它可能在未來的生活、生產中起到重要的作用；但由於其無約束的書寫方式，空中手寫比起普通手寫更具歧義性和多樣性，導致了現有的機器學習算法無法很好地識別空中手寫文字。本項目旨在系統地探索專門適用於空中手寫識別的相關算法與理論，通過結合國際上主流技術（包括稀疏編碼分類、深度學習等）在識別空中手寫文字方面取得了滿意的進展和成果。具體的，（1）我們首次將稀疏編碼的思想套用到文字識別領域，並提出了一種新的稀疏編碼分類器，該算法在基於傳統機器學習的方法中取得了最好的空中手寫識別結果；（2）我們首次將二維卷積網路套用到空中手寫漢字識別中，通過結合提出的空中手寫高階特徵，該方法超過了傳統識別算法；（3）我們首次將遞歸神經網路模型套用到線上手寫識別領域，提出了一種完全基於端到端的空中手寫識別算法，取得當前最好的識別結果；（4）從一種新的角度出發，我們提出了基於一維卷積的手寫識別算法，該算法在識別精度、速度和模型精簡度上超過了現有的識別算法；（5）受到注意力機制模型的啟發，我們提出了一種新的空中手寫英文單詞識別算法，取得了當前最好的識別性能。通過本課題的研究，我們構建了世界上最大的空中手寫英文單詞資料庫IAHEWUCAS2016，同時在空中手寫文字識別方面達到了國際最頂尖的水準；此外，我們在手寫識別算法方面提出了一系列的國際高水平研究理論，並在國際頂尖或主流期刊上發表了4篇（CCF B類2篇、C類2篇）regular論文。最後，我們認為空中手寫識別技術已經可以進入套用推廣階段，並給出了空中手寫系統的一個雛形（參考網址：cvmt.ucas.ac.cn）。未來我們將進一步精細化提升我們的識別技術並積極推廣其實際套用