雙耳互動計算模型與空間聽覺研究

《雙耳互動計算模型與空間聽覺研究》是依託東南大學，由周琳擔任項目負責人的青年科學基金項目。

基本介紹

• 中文名：雙耳互動計算模型與空間聽覺研究
• 項目類別：青年科學基金項目
• 項目負責人：周琳
• 依託單位：東南大學

中文摘要

複雜聲學環境下語音信號處理的魯棒性研究一直是重點和難點。聽覺生理學和心理學研究表明人的雙耳結構決定了聽覺系統的魯棒性。因此本項目基於雙耳聲信號處理框架，研究聽覺神經對雙耳聲信號的互動、融合處理機制，提出相應計算模型，具體包括：研究基於子帶互相關函式的空間線索，建立空間方位識別模型；建立前、後向結構的反射聲抑制模型，融合均衡抵消處理過程，建立聽覺系統優先效應的計算模型，實現混響環境下的空間方位識別；基於協方差矩陣實現短時子帶噪聲估計，在定位模型中將子帶信噪比作為可信度度量，實現子帶自適應選擇。本項目模擬人耳聽覺系統處理結構，給出完整的雙耳互動計算模型，實現基於空間線索的目標語音檢測和分析，提高現有語音信號處理系統對複雜聲學環境的魯棒性，為語音信號處理系統的魯棒性研究提供新的研究架構。

結題摘要

複雜聲學環境下語音信號處理系統的魯棒性研究一直是重點和難點。聽覺生理學和心理學研究表明人的雙耳結構決定了聽覺系統的魯棒性。因此本項目基於雙耳聲信號處理框架，研究雙耳的空間感知機制，實現基於空間線索的目標聲源檢測和分離。具體的研究內容包括：在已有的基於耳間時間差ITD(Inter-aural Time Difference)定位基礎上，綜合耳間強度差IID(Inter-aural Intensity Difference)、雙耳互相關函式，模擬聽覺神經的多參數融合處理機制，研究了基於ITD、IID、互相關函式的深度神經網路DNN(Deep Neural Network)定位機制，挖掘各聲學特徵參數間的內在結構信息，模擬聽覺系統的混響抑制機制，改善混響環境下的雙耳定位性能；基於聽覺場景分析中，聽覺系統對不同聲源目標信號的分離和重構機制，提出了基於定位-分離重構疊代結構的雙耳聲源定位算法，進一步改善複雜聲學環境下的雙耳聲源定位和分離性能；基於壓縮感知原理，提出了基於雙耳聲信號的計算模型，解決了混響環境下的魯棒雙耳聲源定位和基於聲源方位信息的目標聲源分離問題；模擬人耳聽覺系統的頻率選擇性，基於協方差矩陣，實現子帶噪聲估計，在定位模型中將子帶信噪比作為可信度度量，實現子帶頻率的自適應選擇，提高了混響和噪聲環境下雙耳聲源定位的魯棒性；同時研究了低信噪比環境下的端點檢測算法和多環境模型矢量泰勒級數VTS(Vector Taylor Series)語音識別算法，作為雙耳空間感知的前端和後端處理模組，提高雙耳聲源定位的魯棒性，以及為基於空間感知的語音信號處理研究提供基礎。最後，課題組基於聲學人工頭和多通道採集設備，搭建了硬體測試平台，雙耳空間感知算法的驗證提供了實驗條件。課題組開展的研究工作實現了混響、噪聲複雜聲學環境下，基於雙耳聲信號的目標聲源空間感知和識別，為提高語音信號處理系統魯棒性提供了新的途徑，研究成果可廣泛用於語音識別、說話人識別、語音通信、機器人聽覺等領域。