《基於深度學習的魯棒口語理解研究》是依託上海交通大學，由俞凱擔任項目負責人的面上項目。
基本介紹
- 中文名：基於深度學習的魯棒口語理解研究
- 項目類別：面上項目
- 項目負責人：俞凱
- 依託單位：上海交通大學
項目摘要,結題摘要,
項目摘要
隨著移動網際網路的迅猛發展，自然語音的識別和語義理解，得到了廣泛重視。雖然由於雲服務的實現，識別準確度大幅度提高，但在不同環境下的表現很不穩定，仍然普遍存在非精確性，這使得基於精確文本的語義理解算法的性能大打折扣。本項目就是將語音識別和自然語言理解，在魯棒口語理解這一重要的實際問題下，藉助深度學習這一機器學習工具，有效地結合起來進行聯合研究。本項目提出了新的理論框架，結合深度學習技術，從錯誤仿真、多視角信息、語音識別語言模型調整三個方面來實現魯棒的口語理解。具體包括：從語義理解穩定性的角度研究語音識別錯誤的規律性，生成模擬數據來訓練語義解析器；融合聲學信息、對話上下文和文本信息，實現對非精確語音識別結果的準確理解；將語義理解任務的先驗知識引入到語音識別中語言模型的訓練，影響語言模型參數，實現識別任務向理解任務的適應。
結題摘要
受環境等複雜因素的影響，語音識別不可避免地會產生錯誤，從而影響後續自然語言理解的性能。本項目將語音識別和自然語言理解，在魯棒口語理解這一重要的實際問題下，藉助深度學習技術，有效地結合起來進行聯合研究。在此背景下，本項目探索麵向非精確語音識別結果的魯棒口語理解技術，研究語音識別錯誤機理、深度學習技術的套用、基於多視角信息的魯棒語義解析算法、以及語言模型在口語理解中的自適應，並將其理論成果投入套用。本項目在執行過程中，根據最新研究和產業發展的趨勢，擴充研究口語語義理解的遷移學習、數據稀疏問題，同時大規模魯棒口語理解系統的搭建成為重點目標之一。圍繞它們取得了如下主要的理論和工程成果。在口語理解的深度學習算法方面，我們針對對話動作具有層級結構的特徵，為非對齊式的口語理解任務提出了一種模組層次化的口語語義解碼網路。該方法在通用的DSTC2口語理解數據集上取得了目前已發表最好的理解精度。在對識別錯誤的魯棒性方面，我們聯合建模與最佳化基於神經網路的語言模型和語義理解模型，並提出了一種利用多源信息的口語理解方法。在輸入中融合高維聲學特徵、識別文本、領域詞庫信息，利用多視角信息提升模型的魯棒性。在輸出後端採取了基於本體知識庫和發音序列相似度的槽值糾正算法，對提取的結構化語義信息進行錯誤糾正。該方法在第一屆中文口語語義理解競賽上取得了所有八項指標中的六項第一。此外，我們提出音素同步解碼解碼框架並取得了語音識別搜尋加速領域自2002年以來最大的加速比，促進了口語理解的魯棒性和不確定性估計研究。並在口語理解的遷移學習方面，提出一種基於“原子概念”的語義表示形式，通過建模不同語義標籤之間的相互關係，從而提升語義理解模型對於數據的利用效率。以上述成果為基礎，我們搭建了大規模魯棒口語理解系統，結合口語理解的遷移學習技術，在可定製的對話系統平台等產品上吸引萬名開發者、激活千萬終端設備，成功實現產業化。
