基於兒童語言習得機制的語言接地技術研究

《基於兒童語言習得機制的語言接地技術研究》是依託北京郵電大學，由王小捷擔任項目負責人的面上項目。

基本介紹

• 中文名：基於兒童語言習得機制的語言接地技術研究
• 項目類別：面上項目
• 項目負責人：王小捷
• 依託單位：北京郵電大學

項目摘要

語言接地連線語言與感知，是認知科學中的一個重要問題，這一問題的解決對於研製智慧型服務機器人具有重要價值。兒童語言習得依賴於內部大腦結構以及與外部環境的交流，這兩個因素協同作用，是兒童分階段逐步習得接地語言的關鍵。本項目擬建模這種兒童語言習得機制，在語言接地技術上取得突破。首先提出一種能對視、聽雙模態信息分別進行深層加工，並在深層表示間建立關聯的混合深層網路模型，構建其學習和評測方法。同時，建模兒童語言習得的階段性機制，使模型在統一的深層網路結構框架下適應不同階段的語言特點；其次對基於視、聽雙模態信息的監護人與兒童對話進行建模，提出監護人說話意圖的分析方法；進而研究由說話人意圖驅動的深層網路學習和測試控制機制，建模兒童語言習得時外部交流與內部結構間的協同作用。最後將這些技術集成部署在一個機器人上，實現一個能基於視、聽雙通道信息與人進行自然互動，具有分階段逐步習得單詞和雙詞組合接地語言的機器人。

結題摘要

人類語言習得與兩個因素有密切關係，其一是與感知信息的關聯，其二是與外部的語言交流。本研究旨在為這兩者建立計算模型，並在機器人上進行驗證。項目研究的主要結果如下： 提出了一種對應自編碼器(Corr-AE)結構及一系列變種結構，該類結構將文本和圖像兩個模態各自的表示學習與雙模態關聯學習集成在一個聯合模型中。也將此類結構推廣到機率模型上，構建了對應受限玻爾茲曼機(Corr-RBM)。提出了在這些基礎單元上構建深層多模態關聯模型的方案及其學習算法。在三個公開數據集上的實驗表明，這些模型比已有模型具有更好的獲取圖-文雙模態關聯信息的能力。研究了以對比散度算法(CD)為代表的深度學習算法的收斂性，給出了新的收斂性條件，提出了平均對比散度算法(ACD)，理論分析和實驗結果表明其比對比散度算法具有更好的收斂性質。 提出了一種排序可變形部件模型(RDPM)。該模型在DPM中引入排序形式的目標函式，證明了新問題是一個泛凹-凸規劃問題，進而提出了一種最佳化算法。在公開數據集上的實驗表明，RDPM 具有比DPM 更好的檢測性能。在此基礎上提出了一種對圖像自動生成語言描述的模型，其不僅可以生成多句描述，還可以生成更完整的針對目標位置和目標形態的描述。 提出了一種層次長短期記憶模型(HLSTM)模型及其變體來聯合建模對話理解中的意圖識別和槽填充任務，模型同時考慮兩個任務之間的關聯約束和層次性，實驗表明了該模型具有比已有一些模型更好的對話理解性能。 提出了一種層次MDP對話管理模型，可以有效降低對話狀態空間的規模。提出了一個利用語音識別N-Best結果而非單一識別結果進行POMDP觀測機率估計的方法，實驗表明其可有效提高人機對話的可靠性，縮短對話輪次。 基於上述多模態關聯技術和人機對話技術，實現了一個是面向概念學習的對話教學系統，初步構建了一個可以持續進行多模態語言學習的人機對話原型系統。此外，還實現了一個面向會議室預訂服務的人機對話系統。 如果上述研究能有助於機器人獲得與人類似的語言能力，則對探索人類語言習得機制具有重要的科學意義。