《面向互動式情感計算的多模態信息融合建模研究》是依託天津大學，由徐超擔任項目負責人的青年科學基金項目。
基本介紹
- 中文名：面向互動式情感計算的多模態信息融合建模研究
- 項目類別：青年科學基金項目
- 項目負責人：徐超
- 依託單位：天津大學
項目摘要,結題摘要,
項目摘要
情感計算是人機互動等智慧型監護的難點，課題擬在互動情境中通過表情、語音語調和生理信號等多模態信息融合建模研究情感體驗分布。課題採用模型化設計和形式化分析結合的解決方案，針對情感計算的不確定性和多模態信息依賴特性，提出協同依賴的情感體驗與信息融合模型，具體對情境多模態信息處理、情感-動因網和情感分布的信息融和展開研究，包括：設計互動情境中動因感知和情感狀態分析的形式化方法；研究情境、多模態信息和情感的內在聯繫，抽離表情、語音語調和生理信號等，提出多模態融合的情感-動因網模型，實現情感知識表示、因果分析和預測推理；基於情感-動因網，提出情感信息的協同依賴模型，引入多模型協同的信息融合框架，提高情感分析客觀性。研究意義：提出互動情境中情感體驗及其信息融合模型，為智慧型人-機-情境互動和行為決策提供理論和技術支撐；構建套用場景和系統原型，對理論模型和技術方案進行有效性和可行性驗證。
結題摘要
課題根據研究計畫進展順利，按照基金任務書的研究目標和研究內容認真執行。課題研究互動情境中表情、語音、生理信號狀態等互動情境因素和情感體驗的內在聯繫，通過設計協同互動的信息融合框架和算法構建情感計算的體驗分布模型。針對情感分析的不確定性和互動情境依賴特性，提出協同依賴的信息融合和情感分布算法，具體對情境動因、情感-動因網和情感分布的融合模型與推理算法展開研究。完成研究目標包括：互動情境中，表情、語音、生理信號和情境動因條件與情感狀態表達的聯繫機制，設計情感-動因網模型和互動情境中情感狀態分析和預測推理；給出情感預測結果和生理信號特徵作為主、客觀分析維度的廣義三維情感體驗分布模型和推理融合算法；基於情感體驗模型及其協同依賴方法，最佳化情感計算的信息融合，客觀、有效的計算情感體驗與情境動因等表情、語音、生理信號狀態的一致性分析。研究內容包括：互動情境感知和情感-動因網建模；基於情感-動因網的情感體驗分布和多模態信息融合建模；多模型協同依賴對情感體驗分布和信息融合模型的最佳化設計。課題研究表情、語音和生理信號的多數據信息融合對情感計算的動態性和特殊性，分析情境動因條件、互動學習和情感體驗的內在聯繫和協同依賴關係，構建主、客觀信息融合的情感體驗模型和套用。研究意義如下：針對情感計算中“人-機-情境”的信息互動與融合和情感體驗分布與協同依賴的信息融合的重要科學問題，課題提出互動情境中情感分布模型，為人機互動和行為決策提供理論支撐。分析情境信息、表情表達、語音語調和生理信號等多源信息，研究多模態信息和情感體驗的因果聯繫，提出情感-動因網模型；設計多模型協同的融合算法，構建並最佳化協同依賴的情感體驗分布模型，實現“人-機-情境”的智慧型互動。構建互動情境中的情感分析平台和套用場景，用於無人值守監控、空巢老人等的日常智慧型監護，為移動醫療提供輔助決策，擬最終將課題方案推廣至智慧型家居和醫療社區，發揮重要的社會意義和工程價值。研究成果如下：基金第一標註，第一作者或通訊作者發表SCI檢索10篇，SSCI檢索1篇，單篇最高IF：3.399，獲得引用11。出版“十二五”普通高等教育本科國家級規劃教材1部。申請並獲批2項國內發明專利，2項軟體著作權。人才培養方面博士畢業2人，碩士畢業4人，博士在讀3人，碩士在讀7人。
