《深度學習從0到1》是2021年電子工業出版社出版的圖書，作者是覃秉豐。
基本介紹
- 中文名：深度學習從0到1
- 作者：覃秉豐
- 類別：深度學習與神經網路
- 出版社：電子工業出版社
- 出版時間：2021年
- 頁數：488 頁
- 定價：138 元
- 開本：16 開
- 裝幀：平裝
- ISBN：9787121411939
內容簡介,目 錄,作者簡介,
內容簡介
本書是一本介紹深度學習理論和實戰套用的教程，先從數學基礎和機器學習基礎出發，按照神經網路的技術發展框架由易到難逐步講解深度學習的理論，然後再通過實踐部分，詳細解釋深度學習的套用案例，讓讀者既能了解深度學習理論，又能學會使用深度學習框架，實現自己的深度學習模型。主要內容包括深度學習的發展歷史、單層感知器、線性神經網路、BP神經網路、深度學習算法卷積神經網路CNN和長短時記憶網路LSTM，以及深度學習算法在圖像、自然語言處理和音頻信號三個方面的實際套用。
目 錄
第1章 深度學習背景介紹 1
1.1 人工智慧 1
1.2 機器學習 3
1.2.1 訓練數據、驗證數據和測試數據 4
1.2.2 學習方式 4
1.2.3 機器學習常用算法 5
1.3 人工智慧、機器學習、神經網路及深度學習之間的關係 10
1.4 深度學習的套用 11
1.5 神經網路和深度學習的發展史 16
1.5.1 神經網路的誕生：20世紀40年代到20世紀60年代 16
1.5.2 神經網路的復興：20世紀80年代到20世紀90年代 17
1.5.3 深度學習：2006年至今 17
1.6 深度學習領域中的重要人物 18
1.7 新一輪人工智慧爆發的三要素 19
1.8 參考文獻 19
第2章 搭建Python編程環境 21
2.1 Python介紹 21
2.2 Anaconda安裝 21
2.3 Jupyter Notebook的簡單使用 25
2.3.1 啟動Jupyter Notebook 26
2.3.2 修改Jupyter Notebook默認啟動路徑 26
2.3.3 Jupyter Notebook瀏覽器無法打開 28
2.3.4 Jupyter Notebook基本操作 28
第3章 單層感知器與線性神經網路 31
3.1 生物神經網路 31
3.2 單層感知器 32
3.2.1 單層感知器介紹 32
3.2.2 單層感知器計算舉例 32
3.2.3 單層感知器的另一種表達形式 33
3.3 單層感知器的學習規則 33
3.3.1 單層感知器的學習規則介紹 33
3.3.2 單層感知器的學習規則計算舉例 34
3.4 學習率 37
3.5 模型的收斂條件 38
3.6 模型的超參數和參數的區別 38
3.7 單層感知器分類案例 39
3.8 線性神經網路 42
3.8.1 線性神經網路介紹 42
3.8.2 線性神經網路分類案例 42
3.9 線性神經網路處理異或問題 45
第4章 BP神經網路 50
4.1 BP神經網路介紹及發展背景 50
4.2 代價函式 51
4.3 梯度下降法 51
4.3.1 梯度下降法介紹 51
4.3.2 梯度下降法二維例子 53
4.3.3 梯度下降法三維例子 55
4.4 Delta學習規則 56
4.5 常用激活函式講解 56
4.5.1 sigmoid函式 57
4.5.2 tanh函式 57
4.5.3 softsign函式 58
4.5.4 ReLU函式 59
4.6 BP神經網路模型和公式推導 61
4.6.1 BP網路模型 62
4.6.2 BP算法推導 63
4.6.3 BP算法推導的補充說明 65
4.7 BP算法推導結論總結 67
4.8 梯度消失與梯度爆炸 67
4.8.1 梯度消失 67
4.8.2 梯度爆炸 69
4.8.3 使用ReLU函式解決梯度消失和梯度爆炸的問題 69
4.9 使用BP神經網路解決異或問題 70
4.10 分類模型評估方法 74
4.10.1 準確率/精確率/召回率/F1值 74
4.10.2 混淆矩陣 77
4.11 獨熱編碼 77
4.12 BP神經網路完成手寫數字識別 78
4.13 Sklearn手寫數字識別 83
4.14 參考文獻 84
第5章 深度學習框架Tensorflow基礎使用 85
5.1 Tensorflow介紹 86
5.1.1 Tensorflow簡介 86
5.1.2 靜態圖和動態圖機制Eager Execution 86
5.1.3 tf.keras 87
5.2 Tensorflow-cpu安裝 88
5.2.1 Tensorflow-cpu線上安裝 88
5.2.2 安裝過程中可能遇到的問題 89
5.2.3 Tensorflow-cpu卸載 91
5.2.4 Tensorflow-cpu更新 91
5.2.5 Tensorflow-cpu指定版本的安裝 91
5.3 Tensorflow-gpu安裝 91
5.3.1 Tensorflow-gpu了解版本情況 91
5.3.2 Tensorflow-gpu安裝CUDA 92
5.3.3 Tensorflow-gpu安裝cuDNN庫 94
5.3.4 Tensorflow-gpu線上安裝 95
5.3.5 Tensorflow-gpu卸載 95
5.3.6 Tensorflow-gpu更新 95
5.4 Tensorflow基本概念 95
5.5 Tensorflow基礎使用 96
5.6 手寫數字圖片分類任務 100
5.6.1 MNIST數據集介紹 100
5.6.2 softmax函式介紹 101
5.6.3 簡單MNIST數據集分類模型—沒有高級封裝 101
5.6.4 簡單MNIST數據集分類模型—keras高級封裝 104
第6章 網路最佳化方法 106
6.1 交叉熵代價函式 106
6.1.1 均方差代價函式的缺點 106
6.1.2 引入交叉熵代價函式 109
6.1.3 交叉熵代價函式推導過程 109
6.1.4 softmax與對數似然代價函式 110
6.1.5 交叉熵程式 112
6.2 過擬合 114
6.2.1 什麼是過擬合 114
6.2.2 抵抗過擬合的方法 117
6.3 數據增強 117
6.4 提前停止訓練 119
6.5 Dropout 121
6.5.1 Dropout介紹 121
6.5.2 Dropout程式 123
6.6 正則化 125
6.6.1 正則化介紹 125
6.6.2 正則化程式 126
6.7 標籤平滑 129
6.7.1 標籤平滑介紹 129
6.7.2 標籤平滑程式 130
6.8 最佳化器 132
6.8.1 梯度下降法 132
6.8.2 Momentum 133
6.8.3 NAG 133
6.8.4 Adagrad 133
6.8.5 Adadelta 134
6.8.6 RMRprop 134
6.8.7 Adam 134
6.8.8 最佳化器程式 135
6.9 參考文獻 137
第7章 Tensorflow模型的保存和載入 138
7.1 Keras模型保存和載入 138
7.1.1 Keras模型保存 138
7.1.2 Keras模型載入 139
7.2 SavedModel模型保存和載入 140
7.2.1 SavedModel模型保存 140
7.2.2 SavedModel模型載入 141
7.3 單獨保存模型的結構 142
7.3.1 保存模型的結構 142
7.3.2 載入模型結構 143
7.4 單獨保存模型參數 144
7.4.1 保存模型參數 144
7.4.2 載入模型參數 145
7.5 ModelCheckpoint自動保存模型 146
7.6 Checkpoint模型保存和載入 149
7.6.1 Checkpoint模型保存 149
7.6.2 Checkpoint模型載入 151
第8章 卷積神經網路（CNN） 154
8.1 計算機視覺介紹 154
8.1.1 計算機視覺套用介紹 154
8.1.2 計算機視覺技術介紹 155
8.2 卷積神經網簡介 158
8.2.1 BP神經網路存在的問題 158
8.2.2 局部感受野和權值共享 158
8.3 卷積的具體計算 159
8.4 卷積的步長 161
8.5 不同的卷積核 162
8.6 池化 163
8.7 Padding 164
8.8 常見的卷積計算總結 166
8.8.1 對1張圖像進行卷積生成1張特徵圖 166
8.8.2 對1張圖像進行卷積生成多張特徵圖 166
8.8.3 對多張圖像進行卷積生成1張特徵圖 167
8.8.4 對多張圖像進行卷積生成多張特徵圖 168
8.9 經典的卷積神經網路 168
8.10 卷積神經網路套用於MNIST數據集分類 170
8.11 識別自己寫的數字圖片 172
8.12 CIFAR-10數據集分類 175
8.13 參考文獻 177
第9章 序列模型 178
9.1 序列模型套用 178
9.2 循環神經網路（RNN） 179
9.2.1 RNN介紹 179
9.2.2 Elman network和Jordan network 180
9.3 RNN的不同架構 180
9.3.1 一對一架構 180
9.3.2 多對一架構 181
9.3.3 多對多架構 181
9.3.4 一對多架構 181
9.3.5 Seq2Seq架構 182
9.4 傳統RNN的缺點 182
9.5 長短時記憶網路（LSTM） 183
9.6 Peephole LSTM和FC-LSTM 186
9.6.1 Peephole LSTM介紹 186
9.6.2 FC-LSTM介紹 187
9.7 其他RNN模型 188
9.7.1 門控循環單元（GRU） 188
9.7.2 雙向RNN 189
9.7.3 堆疊的雙向RNN 190
9.8 LSTM網路套用於MNIST數據集分類 190
9.9 參考文獻 192
第10章 經典圖像識別模型介紹（上） 193
10.1 圖像數據集 193
10.1.1 圖像數據集介紹 193
10.1.2 ImageNet的深遠影響 194
10.1.3 ImageNet Challenge歷年優秀作品 195
10.2 AlexNet 196
10.3 VGGNet 199
10.4 GoogleNet 201
10.4.1 1×1卷積介紹 202
10.4.2 Inception結構 203
10.4.3 GoogleNet網路結構 205
10.5 Batch Normalization 208
10.5.1 Batch Normalization提出背景 208
10.5.2 數據標準化（Normalization） 209
10.5.3 Batch Normalization模型訓練階段 209
10.5.4 Batch Normalization模型預測階段 210
10.5.5 Batch Normalization作用分析 211
10.6 ResNet 212
10.6.1 ResNet背景介紹 212
10.6.2 殘差塊介紹 213
10.6.3 ResNet網路結構 214
10.6.4 ResNet-V2 219
10.7 參考文獻 221
第11章 經典圖像識別模型介紹（下） 222
11.1 Inception模型系列 222
11.1.1 Inception-v2/v3最佳化策略 222
11.1.2 Inception-v2/v3模型結構 224
11.1.3 Inception-v4和Inception-ResNet介紹 229
11.2 ResNeXt 233
11.2.1 分組卷積介紹 233
11.2.2 ResNeXt中的分組卷積 235
11.2.3 ResNeXt的網路結構 236
11.3 SENet 238
11.3.1 SENet介紹 239
11.3.2 SENet結果分析 242
11.4 參考文獻 244
第12章 圖像識別項目實戰 245
12.1 圖像數據準備 245
12.1.1 數據集介紹 245
12.1.2 數據集準備 246
12.1.3 切分數據集程式 247
12.2 AlexNet圖像識別 249
12.3 VGGNet圖像識別 253
12.4 函式式模型 255
12.4.1 函式式模型介紹 255
12.4.2 使用函式式模型進行MNIST圖像識別 256
12.5 模型可視化 257
12.5.1 使用plot_model進行模型可視化 257
12.5.2 plot_model升級版 260
12.6 GoogleNet圖像識別 261
12.7 Batch Normalization使用 263
12.8 ResNet圖像識別 265
12.9 ResNeXt圖像識別 267
12.10 SENet圖像識別 270
12.11 使用預訓練模型進行遷移學習 274
12.11.1 使用訓練好的模型進行圖像識別 274
12.11.2 使用訓練好的模型進行遷移學習 276
12.11.3 載入訓練好的模型進行預測 279
第13章 驗證碼識別項目實戰 282
13.1 多任務學習介紹 282
13.2 驗證碼數據集生成 283
13.3 tf.data介紹 285
13.3.1
作者簡介
機器學習、深度學習領域多年開發研究經驗，一線實戰專家。精通算法原理與編程實踐。主要研究方向有計算機視覺，圖像識別，語言識別等。熟練使用深度學習領域各種開源項目，如Tensorflow、Caffe等。
