基於遷移學習的跨信道說話人識別研究

《基於遷移學習的跨信道說話人識別研究》是依託廈門大學，由洪青陽擔任項目負責人的青年科學基金項目。

基本介紹

• 中文名：基於遷移學習的跨信道說話人識別研究
• 項目類別：青年科學基金項目
• 項目負責人：洪青陽
• 依託單位：廈門大學

項目摘要

識別語音與模型訓練語音中信道畸變的不匹配，即說話人識別的跨信道（Intersession）問題，這種不匹配會對說話人識別的性能產生很大的負面影響。本項目首次引入遷移學習（Transfer Learning）的方法，並融合說話人模型合成（SMS）算法，來解決跨信道識別率急劇下降的問題。.首先採用SMS算法得到不同信道下的說話人模型，並通過大量的實驗數據來驗證其依賴的假設；然後在信道數據不足情況下引入遷移學習方法，將其與SMS算法融合，來構建一個可靠的特定信道通用背景模型，並驗證遷移學習方法的實效性。.針對跨信道問題，本項目進一步提出基於支持向量機的遷移學習框架，力求取得理論和關鍵技術的創新和突破，所取得的成果對高性能說話人識別研究具有重要的學術意義。

結題摘要

課題組緊緊圍繞說話人識別方向，研究如何解決跨信道導致說話人識別性能急劇下降這一問題，著重從模型域進行改進，分別深入研究並實現支持向量機(SVM)，潛在因子分析(LFA)，遷移學習（Transfer Learning）等算法。其中SVM、LFA均已順利實現，並取得較理想的實驗結果。遷移學習原先採用了無監督遷移分量分析（UTCA），結合SVM，結果並不理想，可能的原因是目標域數據的覆蓋面太窄，沒法很廣的覆蓋到所有測試樣例的環境。 結合國外最新研究進展，課題組找到更有效的遷移學習方法，即基於i-vector的類內協方差歸一化(WCCN)和機率線性判別分析(PLDA)算法，其中WCCN把i-vector遷移到沒有信道因素的新的矢量空間，然後再做Cosine距離比對，而PLDA經過信道補償後，在得分域直接進行判決。針對新領域，PLDA的說話人空間矩陣和殘差矩陣，可進一步做遷移學習，從源域的PLDA映射到目標域的PLDA。這部分工作仍在進行中。 本項目期間，課題組共發表論文10篇，其中EI檢索3篇，獲得發明專利授權2項，制定公安部聲紋標準1項，畢業碩士研究生5名。項目研究成果套用到公安司法、市場調查等行業，取得良好的社會經濟效益。