《人工智慧算法3：深度學習和神經網路》是2021年人民郵電出版社出版的圖書。
基本介紹
- 中文名：人工智慧算法3：深度學習和神經網路
- 作者：[美]傑弗瑞·希頓
- 出版時間：2021年
- 出版社：人民郵電出版社
- ISBN：9787115552310
- 類別：計算機/網路類圖書
- 開本：128 開
- 裝幀：平裝-膠訂
內容簡介,圖書目錄,作者簡介,
內容簡介
自早期以來，神經網路就一直是人工智慧的支柱。現在，令人興奮的新技術（例如深度學習和卷積）正在將神經網路帶入一個全新的方向。在本書中，我們將演示各種現實世界任務中的神經網路，例如圖像識別和數據科學。我們研究了當前的神經網路技術，包括ReLU 激活、隨機梯度下降、交叉熵、正則化、Dropout 及可視化等。
圖書目錄
第 1 章 神經網路基礎 1
1.1 神經元和層 2
1.2 神經元的類型 5
1.2.1 輸入和輸出神經元 6
1.2.2 隱藏神經元 7
1.2.3 偏置神經元 7
1.2.4 上下文神經元 8
1.2.5 其他神經元類型 10
1.3 激活函式 10
1.3.1 線性激活函式 10
1.3.2 階躍激活函式 11
1.3.3 S 型激活函式12
1.3.4 雙曲正切激活函式 13
1.4 修正線性單元（ReLU）13
1.4.1 Softmax 激活函式 14
1.4.2 偏置扮演什麼角色？ 17
1.5 神經網路邏輯 19
1.6 本章小結 22
第 2 章 自組織映射 23
2.1 自組織映射 24
2.1.1 理解鄰域函式 27
2.1.2 墨西哥帽鄰域函式 30
2.1.3 計算 SOM 誤差 32
2.2 本章小結 33
第 3 章 Hopfield 網路和玻爾茲曼機34
3.1 Hopfield 神經網路 34
3.1.1 訓練 Hopfield 網路 37
3.2 Hopfield-Tank 網路 41
3.3 玻爾茲曼機 42
3.3.1 玻爾茲曼機機率 44
3.4 套用玻爾茲曼機 45
3.4.1 旅行商問題 45
3.4.2 最佳化問題 48
3.4.3 玻爾茲曼機訓練 51
3.5 本章小結 51
第 4 章 前饋神經網路 53
4.1 前饋神經網路結構 54
4.1.1 用於回歸的單輸出神經網路 54
4.2 計算輸出 56
4.3 初始化權重 60
4.4 徑向基函式網路 63
4.4.1 徑向基函式 64
4.4.2 徑向基函式網路 65
4.5 規範化數據 67
4.5.1 1-of-N 編碼 68
4.5.2 範圍規範化 69
4.5.3 Z 分數規範化70
4.5.4 複雜規範化 73
4.6 本章小結 75
第 5 章 訓練與評估 77
5.1 評估分類 78
5.1.1 二值分類 79
5.1.2 多類分類 84
5.1.3 對數損失 86
5.1.4 多類對數損失 88
5.2 評估回歸 88
5.3 模擬退火訓練 89
5.4 本章小結 92
第 6 章 反向傳播訓練 93
6.1 理解梯度 93
6.1.1 什麼是梯度 94
6.1.2 計算梯度 96
6.2 計算輸出節點增量 98
6.2.1 二次誤差函式 98
6.2.2 交叉熵誤差函式 99
6.3 計算剩餘節點增量 99
6.4 激活函式的導數 100
6.4.1 線性激活函式的導數 100
6.4.2 Softmax 激活函式的導數 100
6.4.3 S 型激活函式的導數 101
6.4.4 雙曲正切激活函式的導數 102
6.4.5 ReLU 激活函式的導數 102
6.5 套用反向傳播 103
6.5.1 批量訓練和線上訓練 104
6.5.2 隨機梯度下降 105
6.5.3 反向傳播權重更新 105
6.5.4 選擇學習率和動量 106
6.5.5 Nesterov 動量 107
6.6 本章小結 108
第 7 章 其他傳播訓練 110
7.1 彈性傳播 110
7.2 RPROP 參數 111
7.3 數據結構 113
7.4 理解 RPROP 114
7.4.1 確定梯度的符號變化 114
7.4.2 計算權重變化 115
7.4.3 修改更新值 115
7.5 Levenberg-Marquardt 算法 116
7.6 Hessian 矩陣的計算 119
7.7 具有多個輸出的 LMA 120
7.8 LMA 過程概述 122
7.9 本章小結 122
第 8 章 NEAT，CPPN 和 HyperNEAT 124
8.1 NEAT 網路 125
8.1.1 NEAT 突變 128
8.1.2 NEAT 交叉 129
8.1.3 NEAT 物種形成 133
8.2 CPPN 網路 134
8.2.1 CPPN 表型 135
8.3 HyperNEAT 網路 138
8.3.1 HyperNEAT 基板 139
8.3.2 HyperNEAT 計算機視覺 140
8.4 本章小結 142
第 9 章 深度學習 143
9.1 深度學習組件 143
9.2 部分標記的數據 144
9.3 修正線性單元 145
9.4 卷積神經網路 145
9.5 神經元 Dropout 146
9.6 GPU 訓練 147
9.7 深度學習工具 149
9.7.1 H2O 149
9.7.2 Theano 150
9.7.3 Lasagne 和 NoLearn 150
9.7.4 ConvNetJS 152
9.8 深度信念神經網路 152
9.8.1 受限玻爾茲曼機 154
9.8.2 訓練 DBNN 155
9.8.3 逐層採樣 157
9.8.4 計算正梯度 157
9.8.5 吉布斯採樣 159
9.8.6 更新權重和偏置 160
9.8.7 DBNN 反向傳播 161
9.8.8 深度信念套用 162
9.9 本章小結 164
第 10 章 卷積神經網路 165
10.1 LeNET-5 166
10.2 卷積層 168
10.3 池層 170
10.4 稠密層 172
10.5 針對 MNIST 數據集的 ConvNets 172
10.6 本章小結 174
第 11 章 剪枝和模型選擇 175
11.1 理解剪枝 176
11.1.1 剪枝連線 176
11.1.2 剪枝神經元 176
11.1.3 改善或降低表現 177
11.2 剪枝算法 177
11.3 模型選擇 179
11.3.1 格線搜尋模型選擇 180
11.3.2 隨機搜尋模型選擇 183
11.3.3 其他模型選擇技術 184
11.4 本章小結 185
第 12 章 Dropout 和正則化 186
12.1 L1 和 L2 正則化 187
12.1.1 理解 L1 正則化 188
12.1.2 理解 L2 正則化 189
12.2 Dropout 層 190
12.2.1 Dropout 層 191
12.2.2 實現 Dropout 層 191
12.3 使用 Dropout 194
12.4 本章小結 195
第 13 章 時間序列和循環網路 197
13.1 時間序列編碼 198
13.1.1 為輸入和輸出神經元編碼數據 199
13.1.2 預測正弦波 200
13.2 簡單循環神經網路 204
13.2.1 Elman 神經網路 206
13.2.2 Jordan 神經網路 207
13.2.3 通過時間的反向傳播 208
13.2.4 門控循環單元 211
13.3 本章小結 213
第 14 章 架構神經網路 214
14.1 評估神經網路 215
14.2 訓練參數 215
14.2.1 學習率 216
14.2.2 動量 218
14.2.3 批次大小 219
14.3 常規超參數 220
14.3.1 激活函式 220
14.3.2 隱藏神經元的配置 222
14.4 LeNet-5 超參數 223
14.5 本章小結 224
第 15 章 可視化 226
15.1 混淆矩陣 227
15.1.1 讀取混淆矩陣 227
15.1.2 生成混淆矩陣 228
15.2 t-SNE 降維 229
15.2.1 t-SNE 可視化 231
15.2.2 超越可視化的 t-SNE 235
15.3 本章小結 236
第 16 章 用神經網路建模 237
16.0.1 挑戰賽的經驗 241
16.0.2 挑戰賽取勝的方法 242
16.0.3 我們在挑戰賽中的方法 244
16.1 用深度學習建模 245
16.1.1 神經網路結構 245
16.1.2 裝袋多個神經網路 249
16.2 本章小結 250
附錄 A 示例代碼使用說明 252
A.1 系列圖書簡介 252
A.2 保持更新 252
A.3 獲取示例代碼 253
A.3.1 下載壓縮檔案 253
A.3.2 克隆 Git 倉庫 254
A.4 示例代碼的內容 255
A.5 如何為項目做貢獻 257
參考資料 259
[美] 傑弗瑞·希頓（Jeffery Heaton）他既是一位活躍的技術博主、開源貢獻者，也是十多本圖書的作者。他的專業領域包括數據科學、預測建模、數據挖掘、大數據、商務智慧型和人工智慧等。他擁有華盛頓大學信息管理學碩士學位，是IEEE的高級會員、Sun認證Java程式設計師、開源機器學習框架Encog的首席開發人員。
