《自主虛擬人智慧型感知決策與真實感互動表現研究》是依託北京交通大學，由劉渭濱擔任項目負責人的面上項目。
基本介紹
- 中文名：自主虛擬人智慧型感知決策與真實感互動表現研究
- 項目類別：面上項目
- 項目負責人：劉渭濱
- 依託單位：北京交通大學
項目摘要,結題摘要,
項目摘要
本項目是根據我國信息化建設與現代服務業發展的迫切需求背景提出的，對虛擬現實與多通道人機互動領域的關鍵支撐技術-自主虛擬人的行為感知與自然互動進行研究，構建以自主虛擬人為核心的智慧型化虛擬環境多通道自然人機互動系統。主要內容包括：（1）研究虛擬人智慧型視聽感知機制，以虛擬空間作為環境背景，實現虛擬人對真實空間用戶運動視覺感知分析與理解，以及對虛擬空間視聽覺信息的感知與理解；（2）研究虛擬人多源感知信息融合處理與自主行為決策，使虛擬人根據自身狀態、環境事件和經驗知識做出當前最佳的行為決策；（3）研究虛擬人真實感運動控制及自然互動協同機制，實現虛擬人合成運動與合成語音的協同表現，合成出具有多通道和諧表達能力的逼真虛擬人。在研究成果基礎上，構建以具有視聽覺感知互動能力的自主虛擬人為核心，實現多通道虛實自然互動的智慧型虛擬環境原型系統，力圖建立起自主虛擬人智慧型感知與自然互動的研究體系。
結題摘要
本項目是根據我國信息化建設與現代服務業發展的迫切需求背景提出的，對虛擬現實與多通道人機互動領域的關鍵支撐技術-自主虛擬人感知理解與自然互動進行研究，構建智慧型化多通道虛實結合的自然人機互動系統。項目主要完成研究內容如下：（1）在人體運動數據的互動行為分析理解方面，對運動數據行為分割、運動模板提取計算、人體運動行為識別與語義標註等進行了深入研究，從人體運動捕捉數據中獲得對互動運動行為感知理解；（2）在人體運動視覺感知理解與互動行為識別分析方面，重點研究了基於多視點視頻序列圖像的無標識人體運動捕捉技術、基於視頻監控軌跡數據的人群運動行為與模式學習、基於視頻小軌跡關聯的多人運動目標跟蹤等，實現對互動行為運動視覺感知理解與識別分析；（3）在人臉表情的視覺感知互動與識別分析方面，重點研究了人臉微表情識別感知、人臉面部表情識別感知、低解析度人臉識別算法等，實現互動環境中面部表情的互動感知；（4）研究視聽覺多源特徵感知融合處理機制與計算方法，包括：多特徵感知融合機制與場景分類，視頻概念感知理解、基於上下文的音視頻語義標註、圖像內容感知理解、三維景物模型的形狀分析與語義感知等，基於多特徵感知融合與決策機制，實現對互動場景多感知信息融合理解處理和語義分析；（5）研究複雜環境中虛擬人真實感運動合成，實現複雜場景中虛擬人對於互動環境對象的行為動作回響，使合成的人體運動更為真實豐富；（6）結合項目研究工作，項目組在相關圖像及視覺信息處理基礎理論及技術方面進行了大量的基礎研究工作，取得了豐富的成果。項目組順利完成了申報書的研究任務，達到了研究目標要求。研究成果為自然人機互動、虛擬現實、運動分析與智慧型行為監控等諸多套用領域，提供新的有效技術手段和解決方案。
