《基於多目視覺的形體語言感知與識別研究》是依託北京交通大學，由阮秋琦擔任項目負責人的面上項目。
基本介紹
- 中文名：基於多目視覺的形體語言感知與識別研究
- 項目類別：面上項目
- 項目負責人：阮秋琦
- 依託單位：北京交通大學
項目摘要,結題摘要,
項目摘要
本項目將圍繞人機互動中形體語言感知與識別的核心內容展開研究。其中包括： 1、基於多目視覺的形體語言感知機理研究：從感知形體語言的表象入手，探討多攝像機感知的模型、多攝像機無重疊配置的基本機理，主要解決①感知形體語言的機理與形體語言的表示問題；②形體語言加工與特徵提取問題。2、建立多目視覺智慧型感知協同計算模型的理論，嘗試以多目視覺系統解決形體語言感知的遮擋、盲區等問題，同時解決多目視覺帶來的匹配等難點問題；3、深入研究多目視覺感知全局表觀特徵標註方法，解決識別的準確率及識別速度問題；4、適境計算理論及技術研究：建立一個適境計算的理論框架以及基於適境計算的信息融合算法，以解決形體語言視覺感知及識別的魯棒性問題；.5、實現一個形體語言的感知與識別綜合實驗平台，以展示形體語言的語義表達及識別效果，同時建立一個基於形體語言感知與識別的人機互動實驗系統。
結題摘要
本項目將圍繞人機互動中形體語言感知與識別的核心內容展開研究。其中包括： 1、基於多目視覺的形體語言感知機理研究：從感知形體語言的表象入手，探討多攝像機感知的模型、多攝像機無重疊配置的基本原理與方法，主要解決①感知形體語言的機理與形體語言的表示問題；②形體語言加工與特徵提取問題。 2、建立多目視覺智慧型感知協同計算模型的理論，嘗試以多目視覺系統解決形體語言感知的遮擋、盲區等問題，同時解決多目視覺帶來的匹配難點問題； 3、研究多目視覺感知全局表觀特徵標註方法，解決識別的準確率及識別速度問題； 4、建立一個適境計算的理論框架以及基於適境計算的信息融合算法，以解決形體語言視覺感知及識別的魯棒性問題； 5、實現一個形體語言的感知與識別綜合實驗平台，以展示形體語言的語義表達及識別效果，同時建立一個基於形體語言感知與識別的人機互動實驗系統。 本項目研究取得了如下一些成果： 1、提出了一種基於RGB-D的一次學習手勢識別方法。其中包括，同步正交匹配追蹤（SOMP）算法；三維增強運動尺度不變特徵轉換（3D EMoSIFT）；三維稀疏運動尺度不變特徵轉換（3D SMoSIFT）算法；字典最佳化的特定類互信息最大化（CSMMI）算法等；不僅提高了識別率，而且識別速度也有較大的提高； 2、提出了一種基於彎曲不變數的三維人臉表面描述子及魯棒的區域稀疏回歸模型，該方法具有良好的三維數據表達能力，在三維人臉識別中顯示出了優越的性能。 3、提出了正交張量鄰域保持嵌入算法（OTNPE）和正交張量邊界費舍爾分析算法（OTMFA），從而改善了人臉表情的表征和識別效果；提出了張量秩一差分圖保持分析算法（TR1DGPA），該算法對於表觀人臉表情的識別更加有效； 4、提出了一種基於異質人臉數據的對偶可鑑別特徵學習方法。該方法可提高異質人臉識別準確率。 5、提出了一種基於Agent的多攝像機無重疊視野域的目標跟蹤方法。利用智慧型Agent代理攝像機，解決了多目視覺系統協同合作的關鍵難點。 本項目經過4年的研究取得的成果還包括： 1、發表論文 70餘篇，其中包括多篇發表在IEEE Trans 和PR等高水平雜誌上； 2、申請發明專利2項，授權一項； 3、獲獎3項； 4、 培養博士生16名，畢業5名，畢業碩士生19名。 5、主辦國際會議4次，參加國際學術交流20餘人次。 該已圓滿完成了預定的任務。
