《HuggingFace自然語言處理詳解——基於BERT中文模型的任務實戰》是2023年4月1日清華大學出版社出版的圖書，作者：李福林。
基本介紹
- 中文名：HuggingFace自然語言處理詳解——基於BERT中文模型的任務實戰
- 作者：李福林
- 出版時間：2023年4月1日
- 出版社：清華大學出版社
- ISBN：9787302628538
- 定價：69 元
- 印次：1-2
- 印刷日期：2023.09.05
內容簡介,圖書目錄,
內容簡介
本書綜合性講解HuggingFace社區提供的工具集datasets和transformers，書中包括最基礎的工具集的用例演示，也包括具體的項目實戰，以及預訓練模型的底層設計思路和實現原理的介紹。通過本書的學習，讀者可以快速掌握HuggingFace工具集的使用方法，掌握自然語言處理項目的一般研發流程，並能研發自己的自然語言處理項目。
本書共14章，分為工具集基礎用例演示篇（第1~6章），詳細講解HuggingFace工具集的基本使用方法。中文項目實戰篇（第7~12章），通過幾個實戰項目演示使用HuggingFace工具集研發自然語言處理項目的一般流程。預訓練模型底層原理篇（13~14章），詳細闡述了預訓練模型的設計思路和計算原理。
本書將使用最簡單淺顯的語言，帶領讀者快速地了解HuggingFace工具集的使用方法。通過本書中實戰項目的學習，讀者可以掌握一般的自然語言處理項目的研發流程。通過本書中預訓練模型底層原理的學習，能夠讓讀者知其然也知其所以然，做到融會貫通。
本書適合有PyTorch編程基礎的讀者閱讀，也適合作為對自然語言處理感興趣的讀者的參考圖書。
圖書目錄
工具集基礎用例演示篇
第1章 HuggingFace簡介 3
第2章 使用編碼工具 6
2.1 編碼工具簡介 6
2.2 編碼工具工作流示意 6
2.3 使用編碼工具 8
2.4 小結 15
第3章 使用數據集工具 16
3.1 數據集工具介紹 16
3.2 使用數據集工具 17
3.2.1 數據集載入和保存 17
3.2.2 數據集基本操作 19
3.2.3 將數據集保存為其他格式 24
3.3 小結 25
第4章 使用評價指標工具 26
4.1 評價指標工具介紹 26
4.2 使用評價指標工具 26
4.3 小結 27
第5章 使用管道工具 28
5.1 管道工具介紹 28
5.2 使用管道工具 28
5.2.1 常見任務演示 28
5.2.2 替換模型執行任務 34
5.3 小結 35
第6章 使用訓練工具 36
6.1 訓練工具介紹 36
6.2 使用訓練工具 36
6.2.1 準備數據集 36
6.2.2 定義模型和訓練工具 39
6.2.3 訓練和測試 43
6.3 小結 47
中文項目實戰篇
第7章 實戰任務1：中文情感分類 51
7.1 任務簡介 51
7.2 數據集介紹 51
7.3 模型架構 52
7.4 實現代碼 53
7.4.1 準備數據集 53
7.4.2 定義模型 58
7.4.3 訓練和測試 60
7.5 小結 64
第8章 實戰任務2：中文填空 65
8.1 任務簡介 65
8.2 數據集介紹 65
8.3 模型架構 66
8.4 實現代碼 67
8.4.1 準備數據集 67
8.4.2 定義模型 73
8.4.3 訓練和測試 76
8.5 小結 79
第9章 實戰任務3：中文句子關係推斷 81
9.1 任務簡介 81
9.2 數據集介紹 81
9.3 模型架構 82
9.4 實現代碼 83
9.4.1 準備數據集 83
9.4.2 定義模型 88
9.4.3 訓練和測試 90
9.5 小結 92
第10章 實戰任務4：中文命名實體識別 93
10.1 任務簡介 93
10.2 數據集介紹 93
10.3 模型架構 95
10.4 實現代碼 96
10.4.1 準備數據集 96
10.4.2 定義模型 102
10.4.3 訓練和測試 105
10.5 小結 115
第11章 使用TensorFlow訓練 116
11.1 任務簡介 116
11.2 數據集介紹 116
11.3 模型架構 116
11.4 實現代碼 117
11.4.1 準備數據集 117
11.4.2 定義模型 121
11.4.3 訓練和測試 123
11.5 小結 132
第12章 使用自動模型 133
12.1 任務簡介 133
12.2 數據集介紹 134
12.3 模型架構 134
12.4 實現代碼 135
12.4.1 準備數據集 135
12.4.2 載入自動模型 137
12.4.3 訓練和測試 138
12.5 深入自動模型原始碼 141
12.6 小結 147
預訓練模型底層原理篇
第13章 手動實現Transformer 151
13.1 Transformer架構 151
13.2 注意力 152
13.2.1 為什麼需要注意力 152
13.2.2 注意力的計算過程 153
13.2.3 注意力計算的矩陣形式 155
13.2.4 多頭注意力 156
13.3 位置編碼 157
13.3.1 為什麼需要位置編碼 157
13.3.2 位置編碼計算過程 157
13.4 MASK 159
13.4.1 PAD MASK 159
13.4.2 上三角MASK 160
13.5 Transformer計算流程 161
13.5.1 編碼器 161
13.5.2 整體計算流程 162
13.5.3 解碼器解碼過程詳細講解 163
13.5.4 總體架構 164
13.6 簡單翻譯任務 165
13.6.1 任務介紹 165
13.6.2 定義數據集 166
13.6.3 定義MASK函式 169
13.6.4 定義Transformer工具子層 171
13.6.5 定義Transformer模型 176
13.6.6 訓練和測試 180
13.7 兩數相加任務 184
13.7.1 任務介紹 184
13.7.2 實現代碼 185
13.7.3 訓練和測試 186
13.8 小結 189
第14章 手動實現BERT 190
14.1 BERT架構 190
14.2 數據集處理 191
14.2.1 數據處理過程概述 191
14.2.2 數據集介紹 193
14.2.3 數據處理實現代碼 193
14.3 PyTorch提供的Transformer工具層介紹 201
14.4 手動實現BERT模型 211
14.4.1 準備數據集 211
14.4.2 定義輔助函式 215
14.4.3 定義BERT模型 217
14.4.4 訓練和測試 219
14.5 小結 226
