《基於認知機理的情感語音識別基礎研究》是依託太原理工大學，由張雪英擔任項目負責人的面上項目。
基本介紹
- 中文名：基於認知機理的情感語音識別基礎研究
- 項目類別：面上項目
- 項目負責人：張雪英
- 依託單位：太原理工大學
項目摘要,結題摘要,
項目摘要
語音情感識別是通過對人類的語音信號進行科學分析和處理以判斷人的情感狀態的研究，其研究成果在和諧人機互動、遠程教育、機器人、遠程醫療、情緒疏導等方面具有廣泛的套用前景。目前關於語音情感識別的研究，多數是分別基於信號處理和認知心理學的獨立研究，少見二者結合的研究報導。本項目將認知心理學和信號處理方法相結合，其主要研究內容包括：(1)構建基於認知心理學的情感語音資料庫；通過分析韻律特徵、聽覺特性及發聲機理，提出聲門補償的人耳聽覺感知情感語音識別新特徵；(2)將認知心理學的情感三維模型引入模糊認知圖（FCM）,確定FCM結構及初始權值，並用人工蜂群算法最佳化FCM網路的參數；(3)在識別結果評測方法方面，利用主觀認知結果與信號處理結果的相關性分析，去調整最佳化識別網路及情感特徵。總之本項目將體現認知理論與信號處理方法的有效融合，具有認知科學和信息科學的交叉研究特色，其研究成果具有理論意義和實用價值。
結題摘要
語音情感識別是目前人工智慧領域的熱點之一，在教育、公安、醫療、健康等方面具有廣闊的套用前景。本項目主要從信號處理和認知心理學兩個方向開展項目研究。按計畫完成了任務，達到了預期目標。所做主要工作和創新點包括：①建立了一個實用的摘引型情感語音資料庫TYUT2.0。提出了一種綜合模糊評價方法對初建的情感語音庫進行有效性評價和語句篩選，得到更有效的情感語音庫；對每句情感語音進行PAD標註，得到對應的PAD值，用於後續研究中。②情感語音新特徵的提取。考慮聲門的影響，利用非線性動力學模型提取多種非線性特徵，實驗結果證明，使用這些特徵的識別系統性能有顯著提高，在德語資料庫上平均識別率提高了16.49%；將HHT及Teager能量運算元結合提取了多種不同的語音特徵，得到了較好的結果；將新特徵和傳統特徵融合，進一步提高了識別率。③情感語音識別模型的研究。將FCM模型和三維PAD情感模型相結合，用PAD數據來調整FCM網路權值，構成了新的e-FCM網路，實驗結果表明所該模型不僅速度快，且識別率也有提高；對e-FCM網路進行了決策融合，實驗結果證明，平均識別率提高了4.06%。④識別結果評測的相關性分析。從連續維度的角度利用識別網路對情感PAD值進行預測，並將預測結果與情感本身的PAD值作了相關性分析，得到相關係數分別為0.671，0.822和0.879，平均79.06%，說明了識別網路的有效性。⑤腦認知方面。從認知心理學和信號處理的角度，研究了基於EEG和ERP信號分析的情感腦認知機理。建立了TYUT2.1非言語情感資料庫；研究了情感語音的時長和基頻對 ERP 成分（N100,P200和N300）的影響；研究了言語的可理解性與非言語情感的 ERP 認知過程的差異；採用信號處理理論，改進壓縮感知方法，並套用於單次事件ERP信號的分類中，結果表明了所提算法的有效性。本項目的特色就是體現了認知理論與信號處理方法的有效融合，具有認知科學和信息科學的交叉研究特色，其研究成果具有理論意義和實用價值。
