基於改進的Transformer模型的文本摘要生成方法

《基於改進的Transformer模型的文本摘要生成方法》是王侃,曹開臣撰寫的一篇論文。

基本介紹

• 中文名：基於改進的Transformer模型的文本摘要生成方法
• 作者：王侃,曹開臣
• 分類號：TP391.1
• 論文來源：電訊技術
• 發表時間：2019-07-29

論文摘要

是從大量冗餘信息中提取出有價值信息的快速方法。目前，傳統的文本摘要方法，如基於循環神經網路和Encoder-Decoder框架構建的摘要生成模型等，在生成文本摘要時存在並行能力不足或長期依賴的性能缺陷，以及文本摘要生成的準確率和流暢度的問題。對此，提出了一種動態詞嵌入摘要生成方法(DWEM)。該方法基於改進的Transformer模型，在文本預處理階段引入先驗知識，將ELMo(Embeddings from Language Models)動態詞向量作為訓練文本的詞表征，結合此詞對應當句的文本句向量拼接生成輸入文本矩陣，將文本矩陣輸入到Encoder生成固定長度的文本向量表達，然後通過Decoder將此向量表達解碼生成目標文本摘要。實驗採用ROUGE值作為摘要的評測指標，將提出的DWEM方法與其他方法進行對比，實驗結果表明此方法所生成的文本摘要的準確率和流暢度更高。

引文格式

[1]王侃,曹開臣,徐暢,潘袁湘,牛新征.基於改進的Transformer模型的文本摘要生成方法[J/OL].電訊技術:1-9[2019-10-20].