《基於JFA的耳語發音方式下說話人識別研究》是依託蘇州大學，由趙鶴鳴擔任項目負責人的面上項目。
基本介紹
- 中文名：基於JFA的耳語發音方式下說話人識別研究
- 項目類別：面上項目
- 項目負責人：趙鶴鳴
- 依託單位：蘇州大學
項目摘要,結題摘要,
項目摘要
耳語音是一種特殊而常見的發音方式，本項目擬研究耳語發音方式下說話人識別的理論和實現方法。這方面的研究不僅對聽覺感知的深入探索有理論意義，而且在通信、公共安全、醫學等領域有實際套用前景。本項目根據耳語發音特點，提出用聯合因子分析模型進行文本無關耳語音說話人識別，模型中包含說話人和信道環境兩類因子：前者反映說話人每次發音因說話場合、個人情緒狀態等變化引起的語音變異；後者反映耳語音受環境或傳輸信道的影響。項目研究內容包括聯合因子模型建立與超參數集估計、耳語話者個性特徵表達。由於耳語音沒有反映個人特徵的基音頻率且頻譜平坦，因此提出建立二維波導格線聲道模型來有效表達耳語狀態下說話人的自身發音特徵，並由該模型導出反映說話人特點的語音特徵參數。本研究擬建立一個耳語方式下話者識別的實驗系統，並進行測試比較。本研究的理論和實現對正常語音下穩健說話人識別研究也有參考意義。
結題摘要
有關耳語音說話人識別的研究是一個全新的課題。耳語音說話人識別與正常語音說話人識別相比的主要難點可歸納為以下幾個方面：（1）耳語音特徵表達問題。（2）易受噪聲及信道環境因素影響問題。（3）易受說話人心理因素、情緒及發音狀態影響問題。 本項目研究了耳語音發音方式下說話人識別的理論和實現方法。主要研究了以下幾點內容：（1）建立二維波導格線聲道模型表達耳語狀態下說話人的自身發音特徵，並由該模型導出反映說話人特點的語音特徵參數；（2）分析耳語音情感特徵及其對耳語音說話人識別的影響；（3）分析說話人因說話場合、個人情緒狀態等變化引起的語音變異，及耳語音說話人狀態因子；（4）分析耳語音受環境或傳輸信道的影響，即信道環境因子；（5）分析清輔音特徵及其在耳語音說話人識別中的作用；（6）建立完整的聯合因子分析模型進行文本無關耳語音說話人識別。 本項目建立了一個耳語方式下話者識別的實驗系統，並進行測試比較。實驗結果顯示，採用聯合因子分析(JFA)的方法將耳語音的特徵分解為說話人空間、信道空間和殘差空間三個部分,並形成由說話人超向量和信道超向量等組成超向量，JFA的方法可提高不匹配信道下耳語說話人的識別率；在短時語音測試時用混合補償法可提升約3%的識別率；正弦模型及人耳聽覺模型的全局譜參數可將耳語說話人狀態因子分類系統的準確率提高至90%。用正常語音清輔音訓練、耳語音清輔音識別可改善說話人識別率。使用波散射模型(Wave Scattering)和時域有限差分算法(Finite Difference Time Domain)建立二維模型，進而導出特徵參數，改善系統性能。 這方面的研究不僅對聽覺感知的深入探索有理論意義，而且在通信、公共安全、醫學等領域有實際套用前景。本研究的理論和實現對正常語音下穩健說話人識別研究也有參考意義。
