《基於深度神經網路的自動作文評分算法研究》是依託中國科學院大學，由何苯擔任項目負責人的面上項目。
基本介紹
- 中文名：基於深度神經網路的自動作文評分算法研究
- 項目類別：面上項目
- 項目負責人：何苯
- 依託單位：中國科學院大學
項目摘要,結題摘要,
項目摘要
在自動作文評分系統中, 對能夠衡量作文水平與質量的特徵的提取是保證評分準確性的關鍵技術手段。當前的自動作文評分算法普遍採用文章長度、語法錯誤等淺層特徵，然而受限於目前自然語言處理技術水平，這些特徵僅能在詞法句法層面有效反應作文寫作質量，而對於語義內容層面則僅能定製出較為淺層的特徵，無法正確表示作文的上下文語義內容。申請人在前期工作探索了多種自動作文評分方法和評分模型常用特徵與寫作質量的相關性和泛化能力，歸納出當前自動作文評分技術因受限於所用特徵的淺層性問題，導致該技術的魯棒性和有效性受到嚴重製約。在此基礎上，本研究擬基於深度學習技術構建新的自動作文評分算法，通過挖掘深層次的、能夠有效反應文章寫作質量的語義特徵, 進而訓練基於深度神經網路的自動作文評分模型，並在ASAP與HSK等公開中英文作文數據集上通過多重交叉檢驗進行性能驗證評價，以期能顯著提升現有評分系統的人機一致率和魯棒性。
結題摘要
在自動作文評分系統中, 對能夠衡量作文水平與質量的特徵的提取是保證評分準確性的關鍵技術手段。當前的自動作文評分算法普遍採用文章長度、語法錯誤等淺層特徵，然而受限於目前自然語言處理技術水平，這些特徵僅能在詞法句法層面有效反應作文寫作質量，而對於語義內容層面則僅能定製出較為淺層的特徵，無法正確表示作文的上下文語義內容。申請人在前期工作探索了多種自動作文評分方法和評分模型常用特徵與寫作質量的相關性和泛化能力，歸納出當前自動作文評分技術因受限於所用特徵的淺層性問題，導致該技術的魯棒性和有效性受到嚴重製約。在此基礎上，本研究基於深度學習技術構建新的自動作文評分算法，通過挖掘深層次的、能夠有效反應文章寫作質量的語義特徵, 進而訓練基於深度神經網路的自動作文評分模型。具體研究內容：(1) 基於深度學習技術提取作文特徵：研究了長文本語言模型以及基於分散式語義表示的作文特徵提取方法；(2) 特徵分析：通過在ASAP公開數據集上的實驗，檢驗了多種分散式語義表示特徵的效果，結果表明基於GloVE詞嵌入與基於Google NGram語料語料訓練得到的詞嵌入相結合，可以得到最優作文評分預測結果；(3) 構建主題相關評分模型，通過在ASAP公開數據集上的實驗檢驗了兩種新提出的主題相關評分模型的效果，得到Kappa一致性為0.7500；(4)構建主題無關評分模型，提出了一種兩階段的作文評分算法，在ASAP數據集上得到的主題無關Kappa一致性為0.6682，顯著優於已有主題無關評分算法。綜上所述，本課題系統性的研究了深度學習技術在自動作文評分領域的套用方法，從特徵和算法兩方面展開了深入研究，在驗證了基於深度學習技術構建主題相關作文評分算法的有效性的同時，顯著提升了主題無關作文評分套用的基準，相關成果以長文形式發表在ACL、EMNLP等自然語言處理領域的重要會議。
