言語聽障評估與溝通訓練關鍵技術的研究

《言語聽障評估與溝通訓練關鍵技術的研究》是依託清華大學，由賈珈擔任項目負責人的面上項目。

基本介紹

• 中文名：言語聽障評估與溝通訓練關鍵技術的研究
• 依託單位：清華大學
• 項目負責人：賈珈
• 項目類別：面上項目

項目摘要

本項目將言語工程、語音語言學、耳科學、臨床醫學相結合，重點探討言語聽障評估與溝通訓練的新方法及其關鍵技術。研究言語音位及其變體的知覺恆常性，建立漢語聲韻母聽感等價類，最佳化漢語聽障評估詞表的設計方法和評估策略；分析言語習得中的“誤聽”和“誤說”與言語認知過程中的感知、記憶、決策的關聯，提出面向計算機輔助語言學習系統的發音糾正分級提示方法；融合語音、臉像、圖像、文字等跨媒體信息，建立言語溝通的多模態計算模型與互動行為模式。通過相關研究成果，進一步推進聽覺感知、聲學參數、語言理解與認知機制相結合的研究，構建並推廣“言語聽障評估與溝通訓練平台”，為聽障言語測聽、言語溝通訓練、以及人機互動中語音信息的感知和理解，提供必要的理論基礎和關鍵技術，具有廣泛的套用前景。

結題摘要

該項目執行以，嚴格按照任務書的要求，研究工作實現重要進展。圍繞研究內容一，研究了基於多重判定的純音聽閾評估方法,提出了基於感知距離矢量的音節感知分布計算方法, 實現了基於音節感知分布的閉合式言語測聽詞表設計及其測聽方法。圍繞研究內容二，通過計算感知距離，把漢語為母語說英語的語料庫進行計算，將不同音素間的感知距離量化。配合讀音誤發的統計，研究了誤發統計與感知距離之間的相關性，並進一步利用感知距離把第二語言學習者的錯誤發音進行分級。圍繞研究內容三，構建了言語溝通訓練系統，實現了言語聽力評估系統和跨平台的言語測聽系統，並且融合文本圖像語音等跨媒體信息，構建用戶情感分析和意圖理解的計算模型和互動行為模式。項目自主研發的《計算機輔助漢語國語言語測聽系統》已由博世（上海）智慧型科技有限公司產品化，在多家醫院和科研院所獲得實際使用，填補了我國臨床言語聽力評估系統的空白，在獲得社會效益的同時，取得很高的經濟效益。項目執行以來，項目組成員積極參加國內外的學術活動、聯合發表文章，共發表標註本基金項目資助的論文48篇，其中CCF A類論文16篇，SCI檢索論文6篇。在項目支持下，相關研究工作獲得2016年教育部科技進步二等獎，項目負責人為該成果第一完成人。培養畢業博士研究生4名，畢業碩士研究生4名。項目的實施為聽障言語測聽、言語溝通訓練、以及人機互動中語音信息的感知和理解，提供必要的理論基礎和關鍵技術，具有廣泛的套用前景。