《卷積神經網路的Python實現》是2019年1月人民郵電出版社出版的圖書，作者是單建華。
基本介紹
- 中文名：卷積神經網路的Python實現
- 作者：單建華
- ISBN：9787115497567
- 頁數：225頁
- 定價：49元
- 出版社：人民郵電出版社
- 出版時間：2019年1月
- 裝幀：平裝
- 開本：大32開
內容簡介,圖書目錄,
內容簡介
卷積神經網路是深度學習重要的模型之一。本書是卷積神經網路領域的入門讀兆囑物，假定讀者不具備任何機器學習知識。書中儘可能少地使用數學知識，從機器愚榆煮學習的概念講起，以卷積神經網路的最新發展結束。
本書首先簡單介紹了機器學習的基本概念，詳細講解了線性模型、神經網路和卷積神經網路模型，然後介紹了基於梯度下降法的最佳化方法和梯度反向傳播算法，接著介紹了訓練網路前的準備工作、神經網路實戰、卷積神經網路的套用及其發展。針對每個關鍵知識點，書中給出了基於NumPy 的代碼實現，以及完整的神經網路和卷積神經網路代碼實現，方便讀者訓糠辣戶練網路和查閱代碼。
本書既可以作為卷積神經網路的教材，也可以供對卷積神經網路感興趣的工程技術人員和科研人員參考。體盼悼拘
圖書目錄
第 一部分 模型篇
第 1章 機器學習簡介 2
1.1 引言 2
1.2 基本術語 3
1.3 重要概念 5
1.4 圖像分類 12
1.5 MNIST數據集簡介 15
第 2章 線性分類器 17
2.1 線性模型 17
2.1.1 線性分類器 18
2.1.2 理解線性分類器 19
2.1.3 代碼實現 21
2.2 softmax損失函式 22
2.2.1 損失函式的定義 23
2.2.2 機率解釋 24
2.2.3 代碼實現 25
2.3 最佳化 26
2.4 梯度下降法 26
2.4.1 梯度的解析意義 27
2.4.2 梯度的幾何意義 29
2.4.3 梯度的物理意義 29
2.4.4 梯度下降法代碼實現 29
2.5 牛頓法 30
2.6 機器學習模型統一結構 31
2.7 正則化 33
2.7.1 範數正則化 34
2.7.2 提前終止訓練 37
2.7.3 機率的進一步解釋 38
第3章 神經網路 39
3.1 姜辨棵臭數學模型 39
3.2 激活函式 41
3.3 代碼實現 44
3.4 學習容量和正則化 45
3.5 生物神經科學基礎 48
第4章 卷積神經網路的結構 50
4.1 概述 50
4.1.1 局部連線 51
4.1.2 參數共享 52
4.1.3 3D特徵圖 52
4.2 卷積層 53
4.2.1 卷積運算及代碼實現 54
4.2.2 卷積層及代碼初級實現 57
4.2.3 卷積層參數總結 63
4.2.4 用連線的觀點看卷積層 64
4.2.5 使用矩陣乘法實現卷積層運算 67
4.2.6 批量數據的卷積層矩陣乘法的代碼實現 69
4.3 池化層 74
4.3.1 概述 74
4.3.2 池化層代碼實現 76
4.4 全連線層 79
4.4.1 全連線層轉化成卷積層 80
4.4.2 全連線層代碼實現 82
4.5 卷積網路的結構 83
4.5.1 層的組合模式 83
4.5.2 表示學習 86
4.6 卷積網路的神經科學基礎 87
第二部分 最佳化篇
第5章 基於梯度下降法的最最佳化方法 90
5.1 隨機梯度下降法SGD 91
5.2 基本動量法 93
5.3 Nesterov動量法 95
5.4 AdaGrad 95
5.5 RMSProp 97
5.6 Adam 98
5.7 AmsGrad 99
5.8 學習率退火 99
5.9 參數初始化 100
5.10 超參數調優 101
第6章 梯度反向傳播算法 104
6.1 基本函式的梯度 104
6.2 鏈式法則 105
6.3 深度網路艱匪您的誤差反向傳播算法 107
6.4 矩陣化 109
6.5 softmax損失函式梯度計算 111
6.6 全連線層梯度反向傳播 112
6.7 激活層梯度反向傳播 113
6.8 卷積層梯度反向傳播 115
6.9 最大值池化層梯度反向傳播 118
第三部分 實戰篇
第7章 訓練前的準備 124
7.1 中心化和規範化 124
7.1.1 利用線性模型推導中心化 125
7.1.2 利用屬性同等重要性推導規範化 126
7.1.3 中心化和規範化的幾何意義 128
7.2 PCA和白化 128
7.2.1 從去除線性相關性推導PCA 129
7.2.2 PCA代碼 130
7.2.3 PCA降維 131
7.2.4 PCA的幾何意義 133
7.2.5 白化 134
7.3 卷積網路在進行圖像分類時如何預處理 135
7.4 BN 136
7.4.1 BN前向計算 136
7.4.2 BN層的位置 137
7.4.3 BN層的理論解釋 138
7.4.4 BN層在實踐中的注意事項 139
7.4.5 BN層的梯棕捉譽度反向傳播 140
7.4.6 BN層的地位探討 141
7.4.7 將BN層套用於卷積網路 141
7.5 數據擴增 142
7.6 梯度檢查 144
7.7 初始損失值檢查 146
7.8 過擬合微小數據子集 146
7.9 監測學習過程 147
7.9.1 損失值 147
7.9.2 訓練集和驗證集的準確率 148
7.9.3 參數更新比例 149
第8章 神經網路實例 150
8.1 生成數據 150
8.2 數據預處理 152
8.3 網路模型 153
8.4 梯度檢查 156
8.5 參數最佳化 158
8.6 訓練網路 159
8.7 過擬合小數據集 162
8.8 超參數隨機搜尋 162
8.9 評估模型 165
8.10 程式組織結構 165
8.11 增加BN層 167
8.12 程式使用建議 171
第9章 卷積神經網路實例 172
9.1 程式結構設計 173
9.2 激活函式 173
9.3 正則化 174
9.4 最佳化方法 175
9.5 卷積網路的基本模組 176
9.6 訓練方法 181
9.7 VGG網路結構 186
9.8 MNIST數據集 197
9.9 梯度檢測 199
9.10 MNIST數據集的訓練結果 202
9.11 程式使用建議 205
第 10章 卷積網路結構的發展 206
10.1 全局平均池化層 206
10.2 去掉池化層 208
10.3 網路向更深更寬發展面臨的困難 209
10.4 ResNet向更深發展的代表網路 210
10.5 GoogLeNet向更寬發展的代表網路 213
10.6 輕量網路 215
10.6.1 1×1深度維度卷積代碼實現 217
10.6.2 3×3逐特徵圖的卷積代碼實現 219
10.6.3 逆殘差模組的代碼實現 222
10.7 注意機制網路SENet 223
4.3.1 概述 74
4.3.2 池化層代碼實現 76
4.4 全連線層 79
4.4.1 全連線層轉化成卷積層 80
4.4.2 全連線層代碼實現 82
4.5 卷積網路的結構 83
4.5.1 層的組合模式 83
4.5.2 表示學習 86
4.6 卷積網路的神經科學基礎 87
第二部分 最佳化篇
第5章 基於梯度下降法的最最佳化方法 90
5.1 隨機梯度下降法SGD 91
5.2 基本動量法 93
5.3 Nesterov動量法 95
5.4 AdaGrad 95
5.5 RMSProp 97
5.6 Adam 98
5.7 AmsGrad 99
5.8 學習率退火 99
5.9 參數初始化 100
5.10 超參數調優 101
第6章 梯度反向傳播算法 104
6.1 基本函式的梯度 104
6.2 鏈式法則 105
6.3 深度網路的誤差反向傳播算法 107
6.4 矩陣化 109
6.5 softmax損失函式梯度計算 111
6.6 全連線層梯度反向傳播 112
6.7 激活層梯度反向傳播 113
6.8 卷積層梯度反向傳播 115
6.9 最大值池化層梯度反向傳播 118
第三部分 實戰篇
第7章 訓練前的準備 124
7.1 中心化和規範化 124
7.1.1 利用線性模型推導中心化 125
7.1.2 利用屬性同等重要性推導規範化 126
7.1.3 中心化和規範化的幾何意義 128
7.2 PCA和白化 128
7.2.1 從去除線性相關性推導PCA 129
7.2.2 PCA代碼 130
7.2.3 PCA降維 131
7.2.4 PCA的幾何意義 133
7.2.5 白化 134
7.3 卷積網路在進行圖像分類時如何預處理 135
7.4 BN 136
7.4.1 BN前向計算 136
7.4.2 BN層的位置 137
7.4.3 BN層的理論解釋 138
7.4.4 BN層在實踐中的注意事項 139
7.4.5 BN層的梯度反向傳播 140
7.4.6 BN層的地位探討 141
7.4.7 將BN層套用於卷積網路 141
7.5 數據擴增 142
7.6 梯度檢查 144
7.7 初始損失值檢查 146
7.8 過擬合微小數據子集 146
7.9 監測學習過程 147
7.9.1 損失值 147
7.9.2 訓練集和驗證集的準確率 148
7.9.3 參數更新比例 149
第8章 神經網路實例 150
8.1 生成數據 150
8.2 數據預處理 152
8.3 網路模型 153
8.4 梯度檢查 156
8.5 參數最佳化 158
8.6 訓練網路 159
8.7 過擬合小數據集 162
8.8 超參數隨機搜尋 162
8.9 評估模型 165
8.10 程式組織結構 165
8.11 增加BN層 167
8.12 程式使用建議 171
第9章 卷積神經網路實例 172
9.1 程式結構設計 173
9.2 激活函式 173
9.3 正則化 174
9.4 最佳化方法 175
9.5 卷積網路的基本模組 176
9.6 訓練方法 181
9.7 VGG網路結構 186
9.8 MNIST數據集 197
9.9 梯度檢測 199
9.10 MNIST數據集的訓練結果 202
9.11 程式使用建議 205
第 10章 卷積網路結構的發展 206
10.1 全局平均池化層 206
10.2 去掉池化層 208
10.3 網路向更深更寬發展面臨的困難 209
10.4 ResNet向更深發展的代表網路 210
10.5 GoogLeNet向更寬發展的代表網路 213
10.6 輕量網路 215
10.6.1 1×1深度維度卷積代碼實現 217
10.6.2 3×3逐特徵圖的卷積代碼實現 219
10.6.3 逆殘差模組的代碼實現 222
10.7 注意機制網路SENet 223
