《深度學習基礎與實踐》是2019年7月人民郵電出版社出版的圖書，作者是[美]喬希·帕特森、[美]亞當·吉布森。
基本介紹
- 書名：深度學習基礎與實踐
- 作者：[美]喬希·帕特森、[美]亞當·吉布森
- ISBN：9787115515421
- 頁數：365頁
- 定價：119元
- 出版社：人民郵電出版社
- 出版時間：2019年7月
- 裝幀：平裝
- 開本：16開
內容簡介,圖書目錄,
內容簡介
本書是由兩位技術出身的企業管理者編寫的深度學習普及書。本書的前四章提供了足夠的關於深度學習的理論知識，包括機器學習的基本概念、神經網路基礎、從神經網路到深度網路的演化歷程，以及主流的深度網路架構，為讀者閱讀本書剩餘內容打下基礎。後五章帶領讀者進行一系列深度學習的實踐，包括建立深層網路、調優技術、各種數據類型的向量化和在Spark上運行深度學習工作流。
圖書目錄
著作權聲明 iii
O'Reilly Media, Inc.介紹 iv
前言 xv
第 1 章 機器學習回顧 1
1.1 學習的機器 1
1.1.1 機器如何學習 2
1.1.2 生物學的啟發 4
1.1.3 什麼是深度學習 5
1.1.4 鑽進奇幻的兔子洞 5
1.2 提出問題 6
1.3 機器學習背後的數學：線性代數 7
1.3.1 標量 7
1.3.2 向量 7
1.3.3 矩陣 8
1.3.4 張量 8
1.3.5 超平面 8
1.3.6 相關數學運算 8
1.3.7 將數據轉換成向量 9
1.3.8 方程組求解 10
1.4 機器學習背後的數學：統計學 12
1.4.1 機率 12
1.4.2 條件機率 14
1.4.3 後驗機率 14
1.4.4 分布 15
1.4.5 樣本與總體 16
1.4.6 重採樣方法 16
1.4.7 選擇性偏差 17
1.4.8 似然 17
1.5 機器學習如何工作 17
1.5.1 回歸 17
1.5.2 分類 19
1.5.3 聚類 19
1.5.4 欠擬合與過擬合 20
1.5.5 最佳化 20
1.5.6 凸最佳化 21
1.5.7 梯度下降 22
1.5.8 SGD 24
1.5.9 擬牛頓最佳化方法 24
1.5.10 生成模型與判別模型 25
1.6 邏輯回歸 25
1.6.1 邏輯函式 26
1.6.2 理解邏輯回歸的輸出 26
1.7 評估模型 27
1.8 建立對機器學習的理解 30
第 2 章 神經網路基礎與深度學習 31
2.1 神經網路 31
2.1.1 生物神經元 33
2.1.2 感知器 34
2.1.3 多層前饋網路 37
2.2 訓練神經網路 42
2.3 激活函式 49
2.3.1 線性函式 49
2.3.2 sigmoid函式 49
2.3.3 tanh函式 50
2.3.4 hard tanh函式 51
2.3.5 softmax函式 51
2.3.6 修正線性函式 51
2.4 損失函式 53
2.4.1 損失函式的符號 53
2.4.2 用於回歸的損失函式 54
2.4.3 用於分類的損失函式 56
2.4.4 用於重建的損失函式 57
2.5 超參數 58
2.5.1 學習率 58
2.5.2 正則化 59
2.5.3 動量 59
2.5.4 稀疏 59
第 3 章 深度網路基礎 60
3.1 定義深度學習 60
3.1.1 什麼是深度學習 60
3.1.2 本章結構 67
3.2 深度網路的通用構建原則 67
3.2.1 參數 68
3.2.2 層 68
3.2.3 激活函式 69
3.2.4 損失函式 70
3.2.5 最佳化算法 71
3.2.6 超參數 73
3.2.7 小結 77
3.3 深度網路的構造塊 77
3.3.1 RBM 78
3.3.2 自動編碼器 82
3.3.3 變分自動編碼器 83
第 4 章 深度網路的主要架構 85
4.1 UPN 85
4.1.1 DBN 86
4.1.2 GAN 88
4.2 CNN 91
4.2.1 生物學啟發 92
4.2.2 思路 92
4.2.3 CNN架構概要 93
4.2.4 輸入層 94
4.2.5 卷積層 95
4.2.6 池化層 101
4.2.7 全連線層 102
4.2.8 CNN的其他套用 102
4.2.9 CNN列表 103
4.2.10 小結 103
4.3 RNN 103
4.3.1 時間維度建模 104
4.3.2 三維空間輸入 105
4.3.3 為什麼不是馬爾可夫模型 107
4.3.4 常見的RNN架構 107
4.3.5 LSTM網路 108
4.3.6 特定領域套用與混合網路 114
4.4 遞歸神經網路 115
4.4.1 網路架構 115
4.4.2 遞歸神經網路的變體 115
4.4.3 遞歸神經網路的套用 116
4.5 小結與討論 116
4.5.1 深度學習會使其他算法過時嗎 116
4.5.2 不同的問題有不同的最佳方法 117
4.5.3 什麼時候需要深度學習 117
第 5 章 建立深度網路 118
5.1 將深度網路與適合的問題匹配 118
5.1.1 列式數據與多層感知器 119
5.1.2 圖像與CNN 119
5.1.3 時間序列與RNN 120
5.1.4 使用混合網路 121
5.2 DL4J工具套件 121
5.2.1 向量化與DataVec 121
5.2.2 運行時與ND4J 121
5.3 DL4J API的基本概念 123
5.3.1 載入與保存模型 123
5.3.2 為模型獲取輸入 124
5.3.3 建立模型架構 124
5.3.4 訓練與評估 125
5.4 使用多層感知器網路對CSV數據建模 126
5.4.1 建立輸入數據 128
5.4.2 確定網路架構 128
5.4.3 訓練模型 131
5.4.4 評估模型 131
5.5 利用CNN對手寫圖像建模 132
5.5.1 使用LeNet CNN的Java代碼示例 132
5.5.2 載入及向量化輸入圖像 134
5.5.3 DL4J中用於LeNet的網路架構 135
5.5.4 訓練CNN網路 138
5.6 基於RNN的序列數據建模 139
5.6.1 通過LSTM生成莎士比亞風格作品 139
5.6.2 基於LSTM的感測器時間序列分類 146
5.7 利用自動編碼器檢測異常 152
5.7.1 自動編碼器示例的Java代碼列表 152
5.7.2 設定輸入數據 156
5.7.3 自動編碼器的網路結構與訓練 156
5.7.4 評估模型 157
5.8 使用變分自動編碼器重建MNIST數字 158
5.8.1 重建MNIST數字的代碼列表 158
5.8.2 VAE模型的檢驗 161
5.9 深度學習在自然語言處理中的套用 163
5.9.1 使用Word2Vec的學習詞嵌入 163
5.9.2 具有段落向量的句子的分散式表示 168
5.9.3 使用段落向量進行文檔分類 171
第 6 章 深度網路調優 176
6.1 深度網路調優的基本概念 176
6.1.1 建立深度網路的思路 177
6.1.2 構建思路的步驟 178
6.2 匹配輸入數據與網路架構 178
6.3 模型目標與輸出層的關係 180
6.3.1 回歸模型的輸出層 180
6.3.2 分類模型的輸出層 180
6.4 處理層的數量、參數的數量和存儲器 182
6.4.1 前饋多層神經網路 183
6.4.2 控制層和參數的數量 183
6.4.3 估計網路記憶體需求 185
6.5 權重初始化策略 187
6.6 使用激活函式 188
6.7 套用損失函式 190
6.8 理解學習率 191
6.8.1 使用參數更新比率 192
6.8.2 關於學習率的具體建議 193
6.9 稀疏性對學習的影響 195
6.10 最佳化方法的套用 195
6.11 使用並行化和GPU更快地進行訓練 197
6.11.1 線上學習與並行疊代算法 197
6.11.2 DL4J中的SGD並行 199
6.11.3 GPU 201
6.12 控制疊代和小批量的大小 202
6.13 如何使用正則化 203
6.13.1 使用先驗函式正則化 204
6.13.2 最大範數正則化 204
6.13.3 Dropout 205
6.13.4 其他正則化事項 206
6.14 處理類別不平衡 207
6.14.1 類別採樣方法 208
6.14.2 加權損失函式 208
6.15 處理過擬合 209
6.16 通過調優UI來使用網路統計信息 210
6.16.1 檢測不佳的權重初始化 212
6.16.2 檢測非混洗數據 213
6.16.3 檢測正則化的問題 214
第 7 章 調優特定的深度網路架構 217
7.1 CNN 217
7.1.1 卷捷豹構常見的模式 218
7.1.2 配置卷積層 220
7.1.3 配置池化層 224
7.1.4 遷移學習 225
7.2 RNN 226
7.2.1 網路輸入數據和輸入層 227
7.2.2 輸出層與RnnOutputLayer 228
7.2.3 訓練網路 228
7.2.4 調試LSTM的常見問題 230
7.2.5 填充與掩碼 230
7.2.6 掩碼評估與評分 231
7.2.7 循環網路架構的變體 232
7.3 受限玻爾茲曼機 232
7.3.1 隱藏層神經元與可用信息建模 233
7.3.2 使用不同的單元 234
7.3.3 用RBM正則化 234
7.4 DBN 235
7.4.1 利用動量 235
7.4.2 使用正則化 235
7.4.3 確定隱藏單元的數量 236
第 8 章 向量化 237
8.1 機器學習中的向量化方法 237
8.1.1 為什麼需要將數據向量化 238
8.1.2 處理列式原始數據屬性的策略 240
8.1.3 特徵工程與規範化技術 241
8.2 使用DataVec進行ETL和向量化 247
8.3 將圖像數據向量化 248
8.3.1 DL4J中的圖像數據表示 248
8.3.2 使用DataVec將圖像數據與向量規範化 250
8.4 將序列數據向量化 251
8.4.1 序列數據源的主要變體 251
8.4.2 使用DataVec將序列數據向量化 252
8.5 將文本向量化 256
8.5.1 詞袋 257
8.5.2 TF-IDF 258
8.5.3 Word2Vec與VSM的比較 261
8.6 使用圖形 261
第 9 章 在Spark上使用深度學習和DL4J 262
9.1 在Spark和Hadoop上使用DL4J的介紹 262
9.2 配置和調優Spark運行 266
9.2.1 在Mesos上運行Spark 267
9.2.2 在YARN中執行Spark 268
