《基於子空間遷移學習的跨語種語音情感識別研究》是依託東南大學，由鄭文明擔任項目負責人的面上項目。
基本介紹
- 中文名：基於子空間遷移學習的跨語種語音情感識別研究
- 項目類別：面上項目
- 項目負責人：鄭文明
- 依託單位：東南大學
中文摘要,結題摘要,
中文摘要
跨語種語音情感識別研究是當前語音情感識別研究的熱點和前沿課題。在跨語種語音情感識別研究中，由於從訓練語音信號和從測試語音信號中提取的情感特徵之間存在較大的差異，使得傳統的基於訓練數據得到的語音情感識別模型難以適用於測試樣本數據。本項目旨在申請人原有語音情感識別與子空間學習研究基礎上，深入開展跨語種語音情感識別研究，提出基於子空間遷移學習的跨語種語音情感識別理論與算法。所開展的研究主要包括以下內容（1）情感語音信號的特徵提取與特徵選擇方法研究；（2）基於直推式遷移學習的判別子空間分析方法及其最佳化算法研究；（3）基於直推式遷移學習的核判別子空間分析方法及其最佳化算法研究；（4）基於子空間遷移學習的跨語種語音情感識別方法與算法研究。本項目側重於子空間遷移學習方法統一模型構建及其在跨語種語音情感識別方面的運用，所提出的理論和算法思想可用於其他模態的情感識別研究中。
結題摘要
語音是人類情感交流的重要方式，通過對語音情感信號的分析與識別可感知人類的心理狀態，在醫療、教育等領域具有重要的套用前景。因此，語音情感識別研究已成為當前情感計算研究的重要內容。在語音情感識別中，如何突破跨語種的情感識別所面臨的挑戰，即訓練樣本與測試樣本來自不同語種語音情感資料庫而造成特徵向量空間分布不匹配的問題，已成為當前語音情感識別研究的熱點和挑戰性難題。本項目針對跨語種語音情感識別問題，開展基於子空間遷移學習的識別研究，主要研究成果包括：（1）提出了基於雙稀疏學習的語音情感特徵選擇和識別方法；（2）提出了遷移子空間模型的統一理論框架和基於遷移子空間學習的特徵選擇方法；（3）基於語音和面部表情多線融合的情感識別方法。本項目實施過程中，在IEEE Transactions on Affective Computing、Speech Communication等國內外期刊和ACM MM、ICMI等會議上發表論文(含已錄用)27篇，申請國家發明專利6項，其中已授權專利2項，獲2018年國家技術發明二等獎。並分別獲2019年度和2016年度ICMI國際情感識別大賽的冠軍和季軍。
