《深度學習在自然語言處理中的套用從詞表徵到ChatGPT》是一本2023年人民郵電出版社出版的圖書，作者是張鐳。
基本介紹
- 中文名：深度學習在自然語言處理中的套用從詞表徵到ChatGPT
- 作者：張鐳
- 出版時間：2023年5月
- 出版社：人民郵電出版社
- ISBN：9787115613332
- 類別：圖書>計算機/網路>人工智慧>深度學習與神經網路
- 開本：128 開
- 裝幀：平裝
內容簡介,圖書目錄,作者簡介,
內容簡介
本書針對當前火熱且套用前景廣闊的自然語言處理（NLP），介紹了深度學習的技術原理及其在自然語言處理中的套用；簡要分析了該領域各個套用方向上的相關模型和關鍵技術，包括Transformer、BERT、GPT，等等；匯集了眾多論文中的重要思想和研究成果；系統梳理了技術發展脈絡。此外，本書還介紹了如何使用深度學習技術來訓練模型，並分析了其在套用中的表現及最佳化手段，以幫助讀者更好地將理論套用於實踐。本書內容通俗易懂，可作為入門自然語言處理的參考書。
圖書目錄
前言 iii
第 1章 緒論 1
1.1 機器學習簡介 1
1.1.1 機器學習的發展歷程 1
1.1.2 機器學習的算法分類 4
1.2 深度學習簡介 5
1.3 自然語言處理簡介 7
1.3.1 自然語言處理的發展歷程 7
1.3.2 自然語言處理的研究方向 8
1.3.3 自然語言理解的主要任務 8
1.3.4 自然語言生成的任務 14
1.3.5 自然語言處理面臨的挑戰 15
1.4 自然語言處理與機器學習和深度學習 16
第 2章 深度學習基礎 17
2.1 前饋神經網路 17
2.2 卷積神經網路 20
2.3 循環神經網路 24
2.4 長短期記憶網路 26
2.5 記憶網路和神經圖靈機 28
2.6 圖神經網路 30
2.7 深度生成模型 33
2.7.1 自編碼器和變分自編碼器 34
2.7.2 生成對抗網路 39
2.8 Transformer 39
2.8.1 Transformer的編碼模組 41
2.8.2 Transformer的解碼模組 42
第3章 詞表征 44
3.1 語言模型 45
3.2 基於矩陣的詞分布表征模型 46
3.2.1 潛在語義分析 46
3.2.2 GloVe 47
3.3 基於聚類的詞分布表征模型 48
3.4 基於神經網路的詞分布表征模型 49
3.4.1 NNLM 50
3.4.2 RNNLM 52
3.4.3 Collobert-Weston模型 53
3.4.4 Word2Vec 54
3.4.5 ELMo 58
3.4.6 ULMFit 60
3.4.7 GPT 61
3.4.8 BERT 62
3.4.9 T5 64
3.5 跨語言的詞嵌入模型 64
3.5.1 基於詞對齊 65
3.5.2 基於預訓練的方法 66
3.6 其他表征 67
第4章 注意力機制 69
4.1 注意力機制的由來 69
4.2 注意力機制的擴展 72
4.2.1 全局注意力和局部注意力 72
4.2.2 自注意力 75
4.3 NTM和MemNN的注意力機制 77
4.3.1 NTM的注意力機制 78
4.3.2 MemN2N的注意力機制 79
4.4 指針網路的注意力機制 81
第5章 遷移學習 83
5.1 遷移學習的定義和分類 83
5.2 領域自適應 86
5.2.1 基於樣本的遷移學習 86
5.2.2 基於特徵映射的遷移學習 88
5.2.3 基於對抗的深度遷移學習 91
5.3 多任務學習 91
5.4 序列遷移學習 94
5.4.1 預訓練語言模型 95
5.4.2 微調 95
5.5 跨語言的遷移學習 97
第6章 強化學習 98
6.1 強化學習的定義 99
6.1.1 馬爾可夫決策過程 99
6.1.2 強化學習的模型 100
6.1.3 智慧型體的策略 101
6.1.4 價值函式 101
6.2 貝爾曼方程 103
6.3 強化學習的分類 104
6.3.1 有模型學習 105
6.3.2 免模型學習 107
6.3.3 基於值函式和基於策略函式的學習 112
6.4 深度強化學習 115
6.5 深度強化學習在NLP中的套用 116
第7章 機器翻譯 117
7.1 機器翻譯的發展歷程 117
7.2 神經機器翻譯 118
7.3 基於RNN的Seq2Seq模型 120
7.4 基於CNN的Seq2Seq模型 124
7.5 神經機器翻譯的策略 126
7.5.1 解碼策略 126
7.5.2 估計softmax函式計算 127
7.5.3 縮小詞典 127
7.5.4 處理生僻詞和未知詞 128
7.6 機器翻譯的評價方法 129
7.6.1 人工評價 130
7.6.2 下游系統評價 130
7.6.3 BLEU 130
第8章 文本摘要 132
8.1 抽取式摘要 132
8.1.1 傳統機器學習方法 133
8.1.2 深度學習方法 135
8.2 生成式摘要 136
8.2.1 傳統機器學習方法 137
8.2.2 深度學習方法 137
8.3 文本摘要的評價 139
第9章 自動問答 140
9.1 基於檢索的自動問答 140
9.1.1 文本檢索模組 141
9.1.2 文本理解模組 143
9.2 基於知識庫的自動問答 146
9.3 基於社區的自動問答 148
9.3.1 專家推薦 148
9.3.2 相似問題檢索 149
9.3.3 答案質量評估 149
9.4 深度自動問答系統 150
9.4.1 抽取式機器閱讀理解 150
9.4.2 生成式機器閱讀理解 151
9.5 自動問答系統的評價 151
第 10章 對話系統 153
10.1 面向任務的對話系統 154
10.1.1 自然語言理解 155
10.1.2 對話管理 155
10.1.3 自然語言生成 157
10.2 開放域對話系統 158
10.2.1 檢索式方法 159
10.2.2 生成式方法 159
10.2.3 混合方法 160
10.2.4 開放域對話系統的關鍵問題 160
10.3 對話系統的評測 162
第 11章 情感分析 164
11.1 情感分析的分類 165
11.1.1 文檔級情感分析 166
11.1.2 句子級情感分析 167
11.1.3 方面級情感分析 168
11.1.4 監督學習和基於詞典的方法比較 169
11.2 方面和實體提取 170
11.2.1 挖掘頻繁出現的名詞短語 170
11.2.2 利用情感詞與目標詞之間的語法關係 170
11.2.3 套用監督學習模型 171
11.2.4 使用主題模型 171
11.3 情感詞典 172
11.3.1 基於詞典的方法 172
11.3.2 基於語料庫的方法 172
11.4 多模態情感分析 173
第 12章 ChatGPT 174
12.1 大型語言模型 174
12.1.1 語言模型的演化 175
12.1.2 大型語言模型的訓練 176
12.1.3 語境學習 176
12.1.4 提示工程 177
12.2 基於人工反饋的強化學習方法 179
12.3 生成ChatGPT 180
12.3.1 步驟1：微調GPT-3.5 180
12.3.2 步驟2：訓練獎勵模型 180
12.3.3 步驟3：利用強化學習微調ChatGPT 181
12.4 ChatGPT的發展 181
參考文獻 183
作者簡介
張鐳 目前在Meta公司從事機器學習算法研發。美國伊利諾伊大學芝加哥分校計算機科學博士，主要研究領域為自然語言處理、機器學習和數據挖掘。在國內外學術期刊和會議上已發表20多篇學術文章，獲得多項美國專利，合著有Mining Text Data等4本關於文本數據挖掘和大數據計算的圖書，並長期受邀擔任自然語言處理國際期刊評審和國際會議程式委員會委員。
