《基於PyTorch的自然語言處理》是2020年中國電力出版社出版的圖書。
基本介紹
- 中文名：基於PyTorch的自然語言處理
- 出版時間：2020年7月1日
- 出版社：中國電力出版社
- ISBN：9787519845988
內容簡介,圖書目錄,
內容簡介
探索計算圖和監督學習範式。掌握PyTorch最佳化張量庫的基礎。概述傳統的NLP概念和方法。學習構建神經網路的基本思想。檢查前饋神經網路，例如多層感知器。使用嵌入方式來表示單詞、句子、文檔等。了解如何使用遞歸神經網路對序列數據建模。探索序列預測並生成sequence-to-sequence模型。學習用於構建NLP系統的設計模式。
圖書目錄
前言 1
第1 章 概述 7
監督學習範式 9
隨機梯度下降法 11
樣本和目標編碼 12
獨熱表示（one-hot） 12
詞頻表示（TF） 14
TF-IDF 表示 15
目標編碼 16
計算圖 17
PyTorch 基礎 19
動態與靜態計算圖 19
安裝PyTorch 20
創建張量 21
張量的類型和大小 23
張量操作 25
索引、切片、連線 27
張量和計算圖 31
CUDA 張量 32
練習題 34
答案 35
小結 36
參考文獻 36
第2 章 自然語言處理 37
語料庫、詞和類型 38
特徵工程 40
一元，二元，三元,…，n 元模型 41
詞形還原和詞幹提取 41
文檔分類 42
單詞分類: 詞性標註 42
廣度分類: 分塊和命名實體識別 43
句子結構 44
詞義與語義 45
小結 46
參考文獻 47
第3 章 神經網路基礎 49
感知器: 最簡單的神經網路 49
激活函式 51
sigmoid 52
Tanh 53
ReLU 53
Softmax 54
損失函式 55
均方誤差損失 56
分類交叉熵損失 56
交叉熵損失 58
深入監督訓練 59
構造樣例數據 59
綜合起來: 基於梯度的監督學習 62
輔助訓練的概念 63
正確度量模型性能：評估指標 64
正確度量模型性能：分割數據集 64
知道何時停止訓練 65
找到合適的超參數 65
規範化 66
案例: 餐館評論分類 67
Yelp 評論數據集 68
理解PyTorch 的數據集表示 70
辭彙表(Vocabulary)、矢量化器(Vectorizer) 和數據轉換器(DataLoader) 73
一種感知器分類器 79
訓練程式 80
評估、推斷和檢查 86
測試數據評估 87
小結 90
參考文獻 91
第4 章 用於自然語言處理的前饋網路 93
多層感知器 94
一個簡單的例子: 二分類 96
在PyTorch 中實現MLP 98
示例：用MLP 進行姓氏分類 102
姓氏數據集 103
Vocabulary、Vectorizer 和DataLoader 104
姓氏分類器模型 106
訓練程式 108
模型評估及預測 110
正則化MLP: 權重正則化和結構正則化( 或Dropout) 112
卷積神經網路 114
CNN 超參數 115
在PyTorch 中實現CNN 120
示例：使用CNN 對姓氏進行分類 123
姓氏數據集類 124
辭彙表、矢量化程式和數據轉換器 125
用卷積網路重新實現姓氏分類器 126
培訓程式 128
模型評估及預測 129
CNN 中的雜項主題 130
池化 130
批規範化(BatchNorm) 131
網路中的網路連線(1x1 卷積) 131
殘差連線/ 殘差塊 132
小結 133
參考文獻 134
第5 章 嵌入單詞和類型 135
為什麼學習嵌入? 136
嵌入的效率 137
學習單詞嵌入的方法 138
預置字的實際使用 138
示例：連續詞袋模型的嵌入 145
Frankenstein 數據集 146
Vocabulary、Vectorizer 和DataLoader 148
CBOWClassifier 模型 149
訓練程式 150
模型評估及預測 151
示例：使用預先訓練的嵌入進行文檔分類 151
新聞數據集 152
Vocabulary、Vectorizer 和DataLoader 153
NewsClassifier 模型 156
訓練程式 159
模型評估及預測 160
小結 161
參考文獻 162
第6 章 自然語言處理的序列建模 165
遞歸神經網路簡介 166
實現Elman RNN 169
示例：使用字元RNN 對姓氏國籍進行分類 171
SurnameDataset 類 171
矢量化數據結構 173
姓氏分類器模型 174
訓練程式和結果 177
小結 178
參考文獻 178
第7 章 自然語言處理的中級序列建模 179
普通RNN（或Elman RNN）的問題 180
用門控方法解決普通RNN 存在的問題 181
示例：用於生成姓氏的字元RNN 183
SurnameDataset 類 183
矢量化數據結構 185
從ElmanRNN 到GRU 187
模型1：無條件的姓氏生成模型 187
模型2：條件姓氏生成模型 189
訓練程式和結果 190
訓練序列模型的技巧和竅門 196
參考文獻 198
第8 章 自然語言處理的高級序列建模 199
序列到序列模型，編碼器- 解碼器模型和條件生成 199
從序列中捕獲更多信息：雙向遞歸模型 203
從序列中捕獲更多信息：注意力 205
深度神經網路中的注意力 207
評估序列生成模型 209
示例：神經機器翻譯 211
機器翻譯數據集 212
NMT 的矢量化管道 213
NMT 模型中的編碼和解碼 218
訓練程式和結果 229
小結 231
參考文獻 232
第9 章 經典，前沿與下一步發展 235
到目前為止，我們學到了什麼？ 235
NLP 中的永恆主題 236
對話與互動系統 236
話語 237
信息提取與文本挖掘 239
檔案分析與檢索 239
NLP 前沿 239
生產NLP 系統的設計模式 241
接下來呢？ 246
參考文獻 247
作者介紹 249
封面介紹 249
