《基於深層學習的漢語句法語義分析研究》是依託北京大學，由常寶寶擔任負責人的面上項目。
基本介紹
- 中文名：基於深層學習的漢語句法語義分析研究
- 項目負責人：常寶寶
- 項目類別：面上項目
- 依託單位：北京大學
項目摘要,結題摘要,
項目摘要
句法語義分析的主要任務是：對於輸入的自然語言句子，運用計算模型和算法得到句子的句法結構並給句子成分賦以語義角色。句法語義分析是機器翻譯、信息提取、自然語言人機接口等套用系統的核心部件，準確高效的句法語義分析對這些套用系統的成功研發有著不可估量的作用。目前句法語義分析在方法上還存在多方面的缺陷，如主要依賴線性化的機器學習技術、過度依賴人工特徵工程和有限的標註數據、缺乏有效的聯合訓練手段，限制了句法語義分析技術的性能。本項目擬將深層學習機制用於漢語句法語義分析，針對目前句法語義分析研究表現出的問題進行探索並期望取得進展。項目除對句法語義分析的基礎方法進行探索外，其成果也將能直接支持漢語信息處理套用系統的開發和研究，具有重要的理論意義和套用價值。
結題摘要
詞法、句法語義分析是自然語言處理的基礎問題，也是機器翻譯、信息提取、自然語言人機接口等套用系統的核心組成部分。傳統漢語詞法、句法語義分析方法主要依賴條件隨機場(CRF)、支持向量機(SVM)等淺層(對數)線性機器學習技術，過度依賴人工特徵工程，也無法充分利用異質異構異語標註資源，限制了詞法、句法語義分析系統的分析性能。 本項目將深度學習機制引入漢語詞法、句法語義分析建模，系統研究了非線性神經網路方法、自動特徵學習和抽象、融合異質異構異語標註資源等問題，並取得如下重要進展： (1) 對深度漢語分詞模型進行了系統研究，提出了一種基於大間隔原則的張量神經網路分詞模型，實現了人工特徵工程的大幅簡化，通過引入張量變換，我們的分詞模型可以更好地捕捉特徵互動和特徵組合，並在基於少量特徵的前提下，取得了傳統模型基於大量人工特徵工程所取得的分詞精度。 (2) 對深度圖解碼依存句法分析模型進行了系統研究，我們的模型擯棄了代價高昂的高階圖分解策略，轉而利用雙向LSTM及LSTM-Minus進行詞語和語段的嵌入表示學習，從而更好地捕獲了遠距離句法依存關係。同時我們也提出一種面向結構預測問題的新型激活函式tanh-cube，與傳統激活函式相比，該函式可以有效地捕獲特徵之間的複雜互動作用。與傳統高階模型相比，我們的模型實現了特徵工程的大幅簡化（基本模型只使用三個原子特徵）。我們的模型雖是一階解碼模型，但在分析精度和分析速度兩個方面都取得優於傳統高階模型的分析效果。 (3) 對深度語義角色標註方法進行了系統研究。提出了一種基於雙向LSTM機制的漢語語義角色標註模型，大幅簡化了人工特徵工程，並取得分析精度的提升。同時我們還分別提出了一種融合異質異構語義標註資源及一種融合異語語義標註資源的漢語語義角色標註方法，進一步改善了漢語語義角色標註模型的精度。 作為基礎組件，本項目所取得的成果對漢語信息處理套用系統的開發和研究也具有潛在套用價值。
