基本介紹
- 中文名：神經機器翻譯：基礎、原理、實踐與進階
- 作者：熊德意、李良友、張檬
- 出版社：電子工業出版社
- 出版時間：2022年7月
- 頁數：512 頁
- 定價：208 元
- 開本：16 開
- ISBN：9787121437526
內容簡介,圖書目錄,作者簡介,
內容簡介
機器翻譯是計算機科學與語言學交叉形成的最早的研究方向，是自然語言處理技術的重要發源地。本書聚焦新一代機器翻譯技術——神經機器翻譯，系統梳理和介紹神經機器翻譯的核心方法和前沿研究課題。全書分為基礎篇、原理篇、實踐篇和進階篇，覆蓋神經機器翻譯的基礎知識、經典框架、原理技術、實踐方法與技巧，以及無監督神經機器翻譯、多語言神經機器翻譯、語音與視覺多模態機器翻譯等前沿研究方向。全書理論與實踐相結合，基礎與前沿相交映。
圖書目錄
推薦序
前言
數學符號
第1 章緒論1
1.1 引言. . . . . . . . . . . . . . . . . . 2
1.2 基本思想. . . . . . . . . . . . . . 6
1.3 解碼. . . . . . . . . . . . . . . . . . 12
1.4 神經機器翻譯與統計機器翻譯對比. . . . . . . . . . . . . . 18
1.5 發展歷史. . . . . . . . . . . . . . 27
1.6 套用現狀. . . . . . . . . . . . . . 29
1.7 本書組織. . . . . . . . . . . . . . 33
1.8 閱讀材料. . . . . . . . . . . . . . 35
1.9 短評：統計與規則的競爭. . 36
第I 部分基礎篇
第2 章神經網路基礎41
2.1 神經網路. . . . . . . . . . . . . . 42
2.2 神經網路訓練. . . . . . . . . . . 48
2.3 常用神經網路簡介. . . . . . . 61
2.4 閱讀材料. . . . . . . . . . . . . . 70
2.5 短評：神經網路與自然語言處理關係演變. . . . . . . . . 71
第3 章自然語言處理基礎75
3.1 語言模型. . . . . . . . . . . . . . 76
3.2 詞嵌入. . . . . . . . . . . . . . . . 82
3.3 對齊. . . . . . . . . . . . . . . . . . 90
3.4 語言分析. . . . . . . . . . . . . . 93
3.5 閱讀材料. . . . . . . . . . . . . . 99
3.6 短評：自然語言處理之經驗主義與理性主義. . . . . . . 100
第II 部分原理篇
第4 章經典神經機器翻譯105
4.1 編碼器-解碼器結構. . . . . . 106
4.2 序列到序列學習. . . . . . . . . 112
4.3 訓練. . . . . . . . . . . . . . . . . . 114
4.4 解碼. . . . . . . . . . . . . . . . . . 114
4.5 閱讀材料. . . . . . . . . . . . . . 116
4.6 短評：神經機器翻譯之獨立同發現——編碼器-解碼器vs. 序列到序列. . . . . 117
第5 章基於注意力的神經機器翻譯119
5.1 經典神經機器翻譯模型的瓶頸. . . . . . . . . . . . . . . . . . 120
5.2 注意力機制. . . . . . . . . . . . 120
5.3 注意力機制的改進. . . . . . . 124
5.4 基於注意力的多層神經機器翻譯模型GNMT . . . . . . . 127
5.5 閱讀材料. . . . . . . . . . . . . . 128
5.6 短評：注意力機制與認知注意. . . . . . . . . . . . . . . . . . 129
第6 章基於卷積神經網路的神經機器翻譯模型131
6.1 卷積編碼器. . . . . . . . . . . . 132
6.2 全卷積序列到序列模型. . . . 133
6.3 ByteNet . . . . . . . . . . . . . . .137
6.4 閱讀材料. . . . . . . . . . . . . . 139
6.5 短評：卷積神經機器翻譯——實用性倒逼技術創新. . 140
第7 章基於自注意力的神經機器翻譯142
7.1 自注意力機制. . . . . . . . . . . 143
7.2 Transformer 模型. . . . . . . . 144
7.3 自注意力改進方法. . . . . . . 149
7.4 閱讀材料. . . . . . . . . . . . . . 152
7.5 短評：Transformer 帶來的自然語言處理技術革新. .. . 153
第8 章神經機器翻譯若干基礎問題及解決方案156
8.1 開放辭彙表. . . . . . . . . . . . 157
8.2 深度模型. . . . . . . . . . . . . . 161
8.3 快速解碼. . . . . . . . . . . . . . 162
8.4 模型融合. . . . . . . . . . . . . . 166
8.5 領域適應. . . . . . . . . . . . . . 169
8.6 閱讀材料. . . . . . . . . . . . . . 172
8.7 短評：再談神經機器翻譯新思想新技術的誕生. . . . . 173
第III 部分實踐篇
第9 章數據準備176
9.1 平行語料. . . . . . . . . . . . . . 177
9.2 語料獲取. . . . . . . . . . . . . . 179
9.3 數據過濾與質量評估. . . . . 183
9.4 數據處理. . . . . . . . . . . . . . 186
9.5 閱讀材料. . . . . . . . . . . . . . 188
9.6 短評：淺談數據對機器翻譯的重要性. . . . . . . . . . . . 188
第10 章訓練191
10.1 mini-batch 設定. . . . . . . . 192
10.2 學習速率設定. . . . . . . . . . 195
10.3 隨機梯度下降算法選擇. . . 197
10.4 其他超參數選擇. . . . . . . . . 200
10.5 分散式訓練. . . . . . . . . . . . 202
10.6 Transformer 訓練設定. . . . 207
10.7 閱讀材料. . . . . . . . . . . . . . 209
10.8 短評：超參數設定——自動最佳化與實驗可復現性. . . . 210
第11 章測試213
11.1 解碼. . . . . . . . . . . . . . . . . . 214
11.2 解碼和訓練不一致. . . . . . . 218
11.3 機器翻譯評測方法. . . . . . . 220
11.4 錯誤分析. . . . . . . . . . . . . . 223
11.5 閱讀材料. . . . . . . . . . . . . . 225
11.6 短評：評測驅動機器翻譯研究. . . . . . . . . . . . . . . . . . 225
第12 章部署233
12.1 GPU 環境下的部署. . . . . . 234
12.2 CPU 環境下的部署. . . . . . 237
12.3 智慧型終端部署. . . . . . . . . . 240
12.4 模型壓縮與計算加速. . . . . 244
12.5 閱讀材料. . . . . . . . . . . . . . 245
12.6 短評：機器翻譯工業部署. . 246
第13 章系統設計與實現251
13.1 總體設計. . . . . . . . . . . . . . 252
13.2 功能設計. . . . . . . . . . . . . . 254
13.3 開源系統. . . . . . . . . . . . . . 257
13.4 FAIRSEQ 解析. . . . . . . . . . 259
13.5 閱讀材料. . . . . . . . . . . . . . 264
13.6 短評：機器翻譯開源之路. . 264
第IV 部分進階篇
第14 章語篇級神經機器翻譯271
14.1 什麼是語篇. . . . . . . . . . . . 272
14.2 語篇級機器翻譯面臨的挑戰274
14.3 語篇級機器翻譯形式化定義275
14.4 語篇級神經機器翻譯方法. . 276
14.5 面向語篇現象的機器翻譯評測數據集. . . . . . . . . . . . 288
14.6 語篇級機器翻譯評測方法. . 288
14.7 未來方向. . . . . . . . . . . . . . 289
14.8 閱讀材料. . . . . . . . . . . . . . 290
14.9 短評：神經機器翻譯達到人類同等水平了嗎. . . . . . . 292
第15 章低資源及無監督神經機器翻譯296
15.1 低資源語言與資源稀缺挑戰297
15.2 低資源神經機器翻譯. . . . . 298
15.3 無監督機器翻譯. . . . . . . . . 305
15.4 未來方向. . . . . . . . . . . . . . 311
15.5 閱讀材料. . . . . . . . . . . . . . 312
15.6 短評：無監督機器翻譯之美及挑戰. . . . . . . . . . . . . . 312
第16 章融合知識的神經機器翻譯315
16.1 知識與機器翻譯. . . . . . . . . 316
16.2 語言學知識融合. . . . . . . . . 318
16.3 非語言學知識融合. . . . . . . 324
16.4 雙語知識融合. . . . . . . . . . 328
16.5 內部知識遷移. . . . . . . . . . 332
16.6 未來方向. . . . . . . . . . . . . . 337
16.7 閱讀材料. . . . . . . . . . . . . . 337
16.8 短評：淺談基於知識的機器翻譯. . . . . . . . . . . . . . . . 338
第17 章魯棒神經機器翻譯342
17.1 魯棒性概述. . . . . . . . . . . . 343
17.2 對抗魯棒性. . . . . . . . . . . . 346
17.3 對抗樣本生成. . . . . . . . . . 347
17.4 對抗訓練. . . . . . . . . . . . . . 355
17.5 數據集. . . . . . . . . . . . . . . . 356
17.6 未來方向. . . . . . . . . . . . . . 358
17.7 閱讀材料. . . . . . . . . . . . . . 359
17.8 短評：神經機器翻譯是瘋子嗎， 兼談其“幻想” . . . . 360
第18 章多語言神經機器翻譯363
18.1 基本思想與形式化定義. . . 364
18.2 多語言機器翻譯vs. 雙語機器翻譯. . . . . . . . .. . . . . 365
18.3 多語言神經機器翻譯模型. . 367
18.4 訓練數據採樣方法. . . . . . . 375
18.5 大規模多語言神經機器翻譯376
18.6 多語言神經機器翻譯向雙
語神經機器翻譯遷移. . . . . 384
18.7 未來方向. . . . . . . . . . . . . . 386
18.8 閱讀材料. . . . . . . . . . . . . . 389
18.9 短評：多語言機器翻譯之美390
第19 章語音與視覺多模態神經機器翻譯393
19.1 文本模態之外的機器翻譯. . 394
19.2 端到端語音翻譯. . . . . . . . . 395
19.3 視覺引導的多模態神經機器翻譯. . . . . . . . . . . . . . . . 407
19.4 閱讀材料. . . . . . . . . . . . . . 417
19.5 短評：預訓練技術爭議與符號奠基問題. . . . . . . . . . . 419
第20 章發展趨勢與展望427
20.1 展望. . . . . . . . . . . . . . . . . . 428
20.2 本書未覆蓋內容. . . . . . . . . 429
20.3 短評：科幻中的機器翻譯與未來機器翻譯. . . . . . . . . 433
參考文獻439
索引482
作者簡介
熊德意，天津大學智慧型與計算學部教授、博士生導師、自然語言處理實驗室負責人，天津大學“語言智慧型與技術”中外聯合研究中心主任，中譯語通-天津大學自然語言處理聯合實驗室主任、中譯語通人工智慧首席科學家。
李良友，華為諾亞方舟實驗室研究員、機器翻譯團隊負責人。在歐盟瑪麗居里項目資助下，於2017年獲得都柏林城市大學計算機博士學位.
張檬，華為諾亞方舟實驗室研究員。於2018年獲得清華大學計算機科學與技術系博士學位。主要研究方向為機器翻譯和跨語言自然語言處理。
