《深度學習之模型設計：核心算法與案例實踐》是2020年6月電子工業出版社出版的圖書，作者是言有三。
基本介紹
- 書名：深度學習之模型設計：核心算法與案例實踐
- 作者：言有三
- 出版社：電子工業出版社
- 出版時間：2020年6月
- 頁數：336 頁
- 定價：88 元
- 開本：16 開
- ISBN：9787121390302
- 千字數：511
- 版次：01-01
內容簡介,作者簡介,圖書目錄,
內容簡介
本書理論知識體系完備，由淺入深，系統性地介紹了深度學習模型的發展脈絡，以及模型深度設計、模型寬度設計、模型通道維度設計、殘差連線設計、分組卷積設計、多尺度與非正常卷積設計、多輸入網路設計、時序神經網路設計、三維卷積網路設計、動態推理模型與注意力機制設計、生成對抗網路設計這10類主流的深度學習模型設計思想。同時，本書為各模型設計思想提供了大量的實例，供讀者實戰演練。
作者簡介
本書作者龍鵬，筆名言有三，畢她贈辣業於中國科學院，有超過5年的深度學習領域從業經驗，以及超過6年的計算機視覺從業經驗，創辦了微信公眾號《有三AI》和知識星球《有三AI》等知識生態，目前已經全職做內容輸出，於2019年花費大半年時間總結多年的知識積累和深度學習項目經驗並撰寫了這本書。
圖書目錄
第1章 神經網路和計算機視覺基礎 1
1.1 計算機視覺 1
1.1.1 研究視覺的重要性 1
1.1.2 生物學視覺原理與視覺分層理論 2
1.2 數字圖像基礎 3
1.2.1 數字圖像基礎概述 3
1.2.4 數字圖像處理基礎 7
1.3 神經網路基礎 11
1.3.1 生物神經元與人工神經網路 12
1.3.2 感知機是神經網路嗎 12
1.3.3 BP算法 16
第2章 深度學習的基礎 20
2.1 全連線神經網路的局限性 20
2.1.1 學習原理的缺陷 20
2.1.2 全連線神經網路的結構缺陷 21
2.1.3 高性能的傳統機器學習算法 22
2.2 深度學習第三次復興簡史 22
2.2.1 網際網路與大數據來了 23
2.2.2 GPU的普及 23
2.2.3 深層神經網路華麗歸來 24
2.2.4 語音識別的重大突破 25
2.2.4 圖像識別的重大突破 26
2.2.5 自充循棗然語言處理的重大突破 28
2.3 卷積神經網路基礎 29
2.3.1 卷積操作 29
2.3.2 反卷積操作 30
2.3.3 卷積神經網路基本概念 31
2.3.4 卷積神經網路的核心思想 33
2.3.5 卷積神經網路的基本結構配置 33
2.4 深度學習最佳化基礎 37
2.4.1 激活模型與常用激活函式 38
2.4.2 參數初始化方法 43
2.4.3 歸一化方法 45
2.4.4 池化 49
2.4.5 最最佳化方舉艱紙法 50
2.4.6 學習率策略 54
2.4.7 正則化方法 57
2.5 深度學習主流開源框架 60
2.5.1 Caffe 60
2.5.2 TensorFlow 61
2.5.3 Pytorch 61
2.5.4 Theano 62
2.5.5 Keras 62
2.5.6 MXNet 63
2.5.7 Chainer 63
參考文獻 64
第3章 數據集、評測指標與最佳化目標 66
3.1 數據集 66
3.1.1 分類數據集MNIST 66
3.1.2 ImageNet 66
3.1.3 分類數據集GHIM-10k 67
3.1.4 分類數據集Place20 67
3.1.5 肖像分割數據集 68
3.1.6 視頻分類數據集UCF101 68
3.1.7 目標跟判危蹤數據集ImageNet VIDEO 68
3.2 評測指標 69
3.2.1 分類評兵葛企測指標 69
3.2.2 檢索與回歸船鴉估店評測指標 73
3.2.3 圖像生成評測指標 75
3.3 最佳化目標 76
3.3.1 分類任務損失 76
3.3.2 回歸任務損失 78
參考文獻 80
第4章 加深網路，提升模型性能 81
4.1 經典的淺層卷積神經網路 81
4.1.1 Neocognitron網路 81
4.1.2 TDNN 83
4.1.3 Cresceptron網屑己舟享絡 83
4.1.4 LeNet系列 84
4.2 經典網路的深度設計 87
4.2.1 AlexNet 87
4.2.2 從AlexNet到VGGNet的升級 90
4.2.3 為什麼需要更深的網路 93
4.3 實驗：網路深度對分類模型性能的影響 94
4.3.1 基準模型 94
4.3.2 不同學習率策略與最佳化方法 96
4.3.3 標準卷積模型網路深度影響實驗 104
4.3.4 MobileNet網路深度影響實驗 111
4.3.5 總結 113
參考文獻 114
第5章 1×1卷積，通道維度升降的利器 115
5.1 特徵通道與信息融合 115
5.1.1 通道內特徵能做什麼 115
5.1.2 通道間特徵能做什麼 116
5.2 1×1卷積及其套用 117
5.2.1 什麼是1×1卷積 117
5.2.2 1×1卷積與瓶頸結構 117
5.2.3 1×1卷積與SqueezeNet 118
5.3 1×1卷積在瓶頸結構中的作用 120
5.3.1 基準模型 120
5.3.2 瓶頸結構探索 126
5.3.3 訓練結果 143
5.4 1×1卷積在增強網路表達能力中的作用 145
5.4.1 基準模型 145
5.4.2 網路配置 146
5.4.3 實驗結果 146
參考文獻 148
第6章 加寬網路，提升模型性能 149
6.1 為什麼需要更寬的網路結構 149
6.2 經典模型的網路寬度設計思想 149
6.2.1 調整通道數量 150
6.2.2 多分支網路結構設計 152
6.2.3 通道補償技術 154
6.3 實驗：網路寬度對模型性能的影響 155
6.3.1 實驗背景 155
6.3.2 訓練結果 161
6.3.3 總結 166
參考文獻 166
第7章 殘差連線，深層網路收斂的關鍵 167
7.1 殘差連線 167
7.1.1 什麼是殘差連線 167
7.1.2 為什麼殘差連線有效 169
7.2 殘差網路結構發展和套用 171
7.2.1 密集連線的殘差網路結構 171
7.2.2 多分支殘差結構 173
7.2.3 殘差連線與多尺度信息融合 174
7.3 跳層連線在圖像分割中的套用 175
7.3.1 數據集與基準模型 175
7.3.2 Allconv5_SEG實驗 184
7.3.3 增加跳層連線 186
參考文獻 199
第8章 分組卷積與卷積拆分，移動端高效率經典模型 201
8.1 卷積拆分與分組卷積 201
8.1.1 卷積拆分 201
8.1.2 分組卷積 201
8.2 分組卷積結構 202
8.2.1 簡單的通道分組網路 203
8.2.2 級連通道分組網路 204
8.2.3 多解析度卷積核通道分組網路 205
8.2.4 多尺度通道分組網路 206
8.2.5 多精度通道分組網路 207
8.3 訓練一個用於圖像分割的實時分組網路 208
8.3.1 項目背景 208
8.3.2 嘴唇分割模型訓練 208
8.3.3 嘴唇分割模型最佳化 212
參考文獻 219
第9章 多尺度網路與非正常卷積，更豐富的感受野與不變性 221
9.1 目標常見變換與不變性 221
9.1.1 常見變換 221
9.1.2 從模型本身獲取不變性 221
9.1.3 從數據中學習不變性 223
9.2 多尺度網路結構 224
9.2.1 圖像金字塔 224
9.2.2 多尺度網路 225
9.3 非正常卷積網路結構 228
9.3.1 帶孔卷積 228
9.3.2 可變形卷積 229
9.3.3 非局部卷積 230
9.4 STN在可變形手寫數字中的套用 232
9.4.1 項目背景 232
9.4.2 STN實驗 233
參考文獻 237
第10章 多輸入網路，圖像檢索和排序的基準模型 238
10.1 什麼時候需要多個輸入 238
10.1.1 圖像檢索 238
10.1.2 目標跟蹤 239
10.1.3 相對排序 239
10.2 常見多輸入網路 240
10.2.1 Siamese網路 240
10.2.2 Triplet網路 241
10.3 目標跟蹤Siamese網路實戰 242
10.3.1 網路結構 242
10.3.2 數據讀取 244
10.3.3 損失函式和評估指標 247
10.3.4 模型訓練 248
10.3.5 模型測試 249
參考文獻 254
第11章 時序神經網路，有記憶的網路更聰明 255
11.1 單向RNN和雙向RNN 255
11.1.1 RNN 255
11.1.2 雙向RNN 257
11.2 LSTM 258
11.3 LSTM視頻分類實踐 260
11.3.1 數據準備 260
11.3.2 數據讀取 260
11.3.3 網路定義 264
11.3.4 模型訓練結果 269
11.3.5 總結 270
第12章 卷積從二維變成三維，實現升維打擊 271
12.1 三維卷積 271
12.2 三維卷積的套用 272
12.2.1 分類任務 272
12.2.2 圖像分割 274
12.3 一個用於視頻分類的三維卷積網路 274
12.3.1 基準模型與數據集 275
12.3.2 數據讀取 278
12.3.3 訓練結果 280
12.3.4 參數調試 281
12.3.5 總結 283
參考文獻 283
第13章 動態推理與注意力機制，網路因樣本而異 284
13.1 拓撲結構動態變化的網路 284
13.1.1 訓練時拓撲結構變化的網路 284
13.1.2 測試時拓撲結構變化的網路 285
13.2 注意力機制 288
13.2.1 空間注意力模型 289
13.2.2 通道注意力模型[9] 289
13.2.3 混合注意力模型 290
13.3 基於提前退出機制的BranchyNet分類實戰 291
13.3.1 背景 291
13.3.2 模型定義 292
13.3.3 實驗結果 302
參考文獻 305
第14章 生成對抗網路 306
14.1 生成對抗網路的基本原理 306
14.1.1 生成式模型與判別式模型 306
14.1.2 GAN簡介 307
14.2 生成對抗網路損失的發展 308
14.2.1 GAN的損失函式問題 308
14.2.2 GAN的損失函式改進 309
14.3 生成對抗網路結構的發展 310
14.3.1 條件GAN 310
14.3.2 多尺度級連GAN 311
14.3.3 多判別器單生成器GAN 312
14.3.4 多生成器單判別器GAN 313
14.3.5 多生成器多判別器GAN 313
14.4 DCGAN圖像生成實戰 314
14.4.1 項目背景 314
14.4.2 項目解讀 315
14.4.3 實驗結果 319
參考文獻 321
2.5.1 Caffe 60
2.5.2 TensorFlow 61
2.5.3 Pytorch 61
2.5.4 Theano 62
2.5.5 Keras 62
2.5.6 MXNet 63
2.5.7 Chainer 63
參考文獻 64
第3章 數據集、評測指標與最佳化目標 66
3.1 數據集 66
3.1.1 分類數據集MNIST 66
3.1.2 ImageNet 66
3.1.3 分類數據集GHIM-10k 67
3.1.4 分類數據集Place20 67
3.1.5 肖像分割數據集 68
3.1.6 視頻分類數據集UCF101 68
3.1.7 目標跟蹤數據集ImageNet VIDEO 68
3.2 評測指標 69
3.2.1 分類評測指標 69
3.2.2 檢索與回歸評測指標 73
3.2.3 圖像生成評測指標 75
3.3 最佳化目標 76
3.3.1 分類任務損失 76
3.3.2 回歸任務損失 78
參考文獻 80
第4章 加深網路，提升模型性能 81
4.1 經典的淺層卷積神經網路 81
4.1.1 Neocognitron網路 81
4.1.2 TDNN 83
4.1.3 Cresceptron網路 83
4.1.4 LeNet系列 84
4.2 經典網路的深度設計 87
4.2.1 AlexNet 87
4.2.2 從AlexNet到VGGNet的升級 90
4.2.3 為什麼需要更深的網路 93
4.3 實驗：網路深度對分類模型性能的影響 94
4.3.1 基準模型 94
4.3.2 不同學習率策略與最佳化方法 96
4.3.3 標準卷積模型網路深度影響實驗 104
4.3.4 MobileNet網路深度影響實驗 111
4.3.5 總結 113
參考文獻 114
第5章 1×1卷積，通道維度升降的利器 115
5.1 特徵通道與信息融合 115
5.1.1 通道內特徵能做什麼 115
5.1.2 通道間特徵能做什麼 116
5.2 1×1卷積及其套用 117
5.2.1 什麼是1×1卷積 117
5.2.2 1×1卷積與瓶頸結構 117
5.2.3 1×1卷積與SqueezeNet 118
5.3 1×1卷積在瓶頸結構中的作用 120
5.3.1 基準模型 120
5.3.2 瓶頸結構探索 126
5.3.3 訓練結果 143
5.4 1×1卷積在增強網路表達能力中的作用 145
5.4.1 基準模型 145
5.4.2 網路配置 146
5.4.3 實驗結果 146
參考文獻 148
第6章 加寬網路，提升模型性能 149
6.1 為什麼需要更寬的網路結構 149
6.2 經典模型的網路寬度設計思想 149
6.2.1 調整通道數量 150
6.2.2 多分支網路結構設計 152
6.2.3 通道補償技術 154
6.3 實驗：網路寬度對模型性能的影響 155
6.3.1 實驗背景 155
6.3.2 訓練結果 161
6.3.3 總結 166
參考文獻 166
第7章 殘差連線，深層網路收斂的關鍵 167
7.1 殘差連線 167
7.1.1 什麼是殘差連線 167
7.1.2 為什麼殘差連線有效 169
7.2 殘差網路結構發展和套用 171
7.2.1 密集連線的殘差網路結構 171
7.2.2 多分支殘差結構 173
7.2.3 殘差連線與多尺度信息融合 174
7.3 跳層連線在圖像分割中的套用 175
7.3.1 數據集與基準模型 175
7.3.2 Allconv5_SEG實驗 184
7.3.3 增加跳層連線 186
參考文獻 199
第8章 分組卷積與卷積拆分，移動端高效率經典模型 201
8.1 卷積拆分與分組卷積 201
8.1.1 卷積拆分 201
8.1.2 分組卷積 201
8.2 分組卷積結構 202
8.2.1 簡單的通道分組網路 203
8.2.2 級連通道分組網路 204
8.2.3 多解析度卷積核通道分組網路 205
8.2.4 多尺度通道分組網路 206
8.2.5 多精度通道分組網路 207
8.3 訓練一個用於圖像分割的實時分組網路 208
8.3.1 項目背景 208
8.3.2 嘴唇分割模型訓練 208
8.3.3 嘴唇分割模型最佳化 212
參考文獻 219
第9章 多尺度網路與非正常卷積，更豐富的感受野與不變性 221
9.1 目標常見變換與不變性 221
9.1.1 常見變換 221
9.1.2 從模型本身獲取不變性 221
9.1.3 從數據中學習不變性 223
9.2 多尺度網路結構 224
9.2.1 圖像金字塔 224
9.2.2 多尺度網路 225
9.3 非正常卷積網路結構 228
9.3.1 帶孔卷積 228
9.3.2 可變形卷積 229
9.3.3 非局部卷積 230
9.4 STN在可變形手寫數字中的套用 232
9.4.1 項目背景 232
9.4.2 STN實驗 233
參考文獻 237
第10章 多輸入網路，圖像檢索和排序的基準模型 238
10.1 什麼時候需要多個輸入 238
10.1.1 圖像檢索 238
10.1.2 目標跟蹤 239
10.1.3 相對排序 239
10.2 常見多輸入網路 240
10.2.1 Siamese網路 240
10.2.2 Triplet網路 241
10.3 目標跟蹤Siamese網路實戰 242
10.3.1 網路結構 242
10.3.2 數據讀取 244
10.3.3 損失函式和評估指標 247
10.3.4 模型訓練 248
10.3.5 模型測試 249
參考文獻 254
第11章 時序神經網路，有記憶的網路更聰明 255
11.1 單向RNN和雙向RNN 255
11.1.1 RNN 255
11.1.2 雙向RNN 257
11.2 LSTM 258
11.3 LSTM視頻分類實踐 260
11.3.1 數據準備 260
11.3.2 數據讀取 260
11.3.3 網路定義 264
11.3.4 模型訓練結果 269
11.3.5 總結 270
第12章 卷積從二維變成三維，實現升維打擊 271
12.1 三維卷積 271
12.2 三維卷積的套用 272
12.2.1 分類任務 272
12.2.2 圖像分割 274
12.3 一個用於視頻分類的三維卷積網路 274
12.3.1 基準模型與數據集 275
12.3.2 數據讀取 278
12.3.3 訓練結果 280
12.3.4 參數調試 281
12.3.5 總結 283
參考文獻 283
第13章 動態推理與注意力機制，網路因樣本而異 284
13.1 拓撲結構動態變化的網路 284
13.1.1 訓練時拓撲結構變化的網路 284
13.1.2 測試時拓撲結構變化的網路 285
13.2 注意力機制 288
13.2.1 空間注意力模型 289
13.2.2 通道注意力模型[9] 289
13.2.3 混合注意力模型 290
13.3 基於提前退出機制的BranchyNet分類實戰 291
13.3.1 背景 291
13.3.2 模型定義 292
13.3.3 實驗結果 302
參考文獻 305
第14章 生成對抗網路 306
14.1 生成對抗網路的基本原理 306
14.1.1 生成式模型與判別式模型 306
14.1.2 GAN簡介 307
14.2 生成對抗網路損失的發展 308
14.2.1 GAN的損失函式問題 308
14.2.2 GAN的損失函式改進 309
14.3 生成對抗網路結構的發展 310
14.3.1 條件GAN 310
14.3.2 多尺度級連GAN 311
14.3.3 多判別器單生成器GAN 312
14.3.4 多生成器單判別器GAN 313
14.3.5 多生成器多判別器GAN 313
14.4 DCGAN圖像生成實戰 314
14.4.1 項目背景 314
14.4.2 項目解讀 315
14.4.3 實驗結果 319
參考文獻 321
