深度卷積網路：原理與實踐

《深度卷積網路：原理與實踐》是2018年5月1日機械工業出版社出版的圖書，作者是彭博。

基本介紹

• 中文名：深度卷積網路：原理與實踐
• 作者：彭博
• 出版社：機械工業出版社
• 出版時間：2018年5月1日
• ISBN：9787111596653

內容簡介

深度卷積網路（DCNN）是目前十分流行的深度神經網路架構，它的構造清晰直觀，效果引人入勝，在圖像、視頻、語音、語言領域都有廣泛套用。

本書以AI領域新的技術研究和和實踐為基礎，從技術理論、工作原理、實踐方法、架構技巧、訓練方法、技術前瞻等6個維度對深度卷積網路進行了系統、深入、詳細地講解。

以實戰為導向，深入分析AlphaGo和GAN的實現過程、技術原理、訓練方法和套用細節，為讀者依次揭開神經網路、卷積網路和深度卷積網路的神秘面紗，讓讀者了解AI的“思考過程”，以及與人類思維的相同和不同之處。

本書在邏輯上分為3個部分：

第一部分 綜述篇（第1、6、9章）

這3章不需要讀者具備編程和數學基礎，對深度學習和神經網路的基礎知識、AlphaGo的架構設計和工作原理，以及深度學習和人工智慧未來的技術發展趨勢進行了巨觀介紹。

第二部分 深度卷積網路篇（第2、3、4、5章）

結合作者的實際工作經驗和案例代碼，對深度卷積網路的技術理論、工作原理、實踐方法、架構技巧和訓練方法做了系統而深入的講解。

第三部分 實戰篇（第7、8章）

詳細分析了AlphaGo和GAN的技術原理、訓練方法和套用細節，包括詳細的代碼分析和大量GAN的精彩實例。

本書的案例代碼在GitHub上提供下載，同時讀者可在GitHub與作者交流本書相關的問題。

圖書目錄

Contents 目　　錄

前言

引子·神之一手1

第1章　走進深度學習的世界5

1.1　從人工智慧到深度學習5

1.2　深度神經網路的威力：以AlphaGo為例8

1.2.1　策略網路簡述9

1.2.2　泛化：看棋譜就能學會下圍棋11

1.2.3　擬合與過擬合11

1.2.4　深度神經網路的速度優勢12

1.3　深度神經網路的套用大觀13

1.3.1　圖像分類問題的難度所在13

1.3.2　用深度神經網路理解圖像15

1.3.3　AlphaGo中的深度神經網路17

1.3.4　自動發現規律：從數據A到答案B17

1.3.5　深度神經網路的更多套用18

1.3.6　從分而治之，到端對端學習24

1.4　親自體驗深度神經網路25

1.4.1　TensorFlow遊樂場25

1.4.2　MNIST數字識別實例：LeNet-527

1.4.3　策略網路實例28

1.4.4　簡筆畫：Sketch-RNN29

1.4.5　用GAN生成動漫頭像30

1.5　深度神經網路的基本特點31

1.5.1　兩大助力：算力、數據31

1.5.2　從特徵工程，到逐層抽象32

1.5.3　深度神經網路學會的是什麼35

1.6　人工智慧與神經網路的歷史36

1.6.1　人工智慧的兩大學派：邏輯與統計37

1.6.2　人工智慧與神經網路的現代編年史37

第2章　深度卷積網路：第一課42

2.1　神經元：運作和訓練43

2.1.1　運作：從實例說明43

2.1.2　訓練：梯度下降的思想44

2.1.3　訓練：梯度下降的公式46

2.1.4　訓練：找大小問題的初次嘗試48

2.1.5　訓練：Excel的實現 50

2.1.6　重要知識：批大小、mini-batch、epoch51

2.2　深度學習框架MXNet：安裝和使用51

2.2.1　計算圖：動態與靜態52

2.2.2　安裝MXNet：準備工作53

2.2.3　在Windows下安裝MXNet54

2.2.4　在macOS下安裝MXNet：CPU版57

2.2.5　在macOS下安裝MXNet：GPU版58

2.2.6　在Linux下安裝MXNet59

2.2.7　安裝Jupyter演算本59

2.2.8　實例：在MXNet訓練神經元並體驗調參60

2.3　神經網路：運作和訓練63

2.3.1　運作：前向傳播，與非線性激活的必要性63

2.3.2　運作：非線性激活64

2.3.3　訓練：梯度的計算公式66

2.3.4　訓練：實例69

2.3.5　訓練：Excel的實現70

2.3.6　訓練：反向傳播71

2.3.7　重要知識：梯度消失，梯度爆炸72

2.3.8　從幾何觀點理解神經網路72

2.3.9　訓練：MXNet的實現73

第3章　深度卷積網路：第二課 77

3.1　重要理論知識77

3.1.1　數據：訓練集、驗證集、測試集77

3.1.2　訓練：典型過程79

3.1.3　有監督學習：回歸、分類、標籤、排序、Seq2Seq79

3.1.4　無監督學習：聚類、降維、自編碼、生成模型、推薦81

3.1.5　訓練的障礙：欠擬合、過擬合82

3.1.6　訓練的細節：局部極值點、鞍點、梯度下降算法83

3.2　神經網路的正則化85

3.2.1　修改損失函式：L2和L1正則化85

3.2.2　修改網路架構：Dropout正則化86

3.2.3　更多技巧：集合、多任務學習、參數共享等86

3.2.4　數據增強與預處理88

3.3　神經網路的調參89

3.3.1　學習速率89

3.3.2　批大小90

3.3.3　初始化方法92

3.3.4　調參實戰：重返TensorFlow遊樂場93

3.4　實例：MNIST問題95

3.4.1　重要知識：SoftMax層、交叉熵損失96

3.4.2　訓練代碼與網路架構98

3.4.3　超越MNIST：最新的Fashion-MNIST數據集101

3.5　網路訓練的常見bug和檢查方法103

3.6　網路訓練性能的提高104

第4章　深度卷積網路：第三課106

4.1　卷積網路：從實例說明106

4.1.1　實例：找橘貓，最原始的方法107

4.1.2　實例：找橘貓，更好的方法108

4.1.3　實例：卷積和池化108

4.1.4　卷積網路的運作111

4.2　運作：AlphaGo眼中的棋盤112

4.2.1　棋盤的編碼113

4.2.2　最簡化的策略網路115

4.2.3　最簡化的策略網路：特徵層和卷積後的結果116

4.3　卷積神經網路：進一步了解122

4.3.1　卷積核、濾波器與參數量的計算122

4.3.2　運作和訓練的計算123

4.3.3　外襯與步長124

4.3.4　縮小圖像：池化與全局池化126

4.3.5　放大圖像：轉置卷積127

4.4　實例：用卷積網路解決MNIST問題128

4.4.1　網路架構的定義與參數量的計算129

4.4.2　訓練MNIST網路130

4.4.3　在MXNet運行訓練後的網路131

4.4.4　調參實例133

4.4.5　在Fashion-MNIST數據集的結果133

4.5　MXNet的使用技巧134

4.5.1　快速定義多個層134

4.5.2　網路的保存與讀取135

4.5.3　圖像數據的打包和載入135

4.5.4　深入MXNet訓練細節136

4.5.5　在瀏覽器和移動設備運行神經網路139

第5章　深度卷積網路：第四課141

5.1　經典的深度卷積網路架構142

5.1.1　深度學習革命的揭幕者：AlexNet142

5.1.2　常用架構：VGG系列145

5.1.3　去掉全連線層：DarkNet系列147

5.2　網路的可視化：以AlexNet為例150

5.3　遷移學習：精調、預訓練等155

5.4　架構技巧：基本技巧157

5.4.1　感受野與縮小卷積核157

5.4.2　使用1×1卷積核158

5.4.3　批規範化160

5.4.4　實例：回顧Fashion-MNIST問題161

5.4.5　實例：訓練CIFAR-10模型164

5.5　架構技巧：殘差網路與通道組合169

5.5.1　殘差網路：ResNet的思想169

5.5.2　殘差網路：架構細節171

5.5.3　殘差網路：來自於集合的理解與隨機深度172

5.5.4　殘差網路：MXNet實現，以策略網路為例173

5.5.5　通道組合：Inception模組174

5.5.6　通道組合：XCeption架構，深度可分卷積177

5.5.7　實例：再次訓練CIFAR-10模型178

5.6　架構技巧：更多進展181

5.6.1　殘差網路進展：ResNext、Pyramid Net、DenseNet181

5.6.2　壓縮網路：SqueezeNet、MobileNet、ShuffleNet183

5.6.3　卷積核的變形188

5.7　物體檢測與圖像分割189

5.7.1　YOLO v1：實時的物體檢測網路190

5.7.2　YOLO v2：更快、更強192

5.7.3　Faster R-CNN：準確的物體檢測網路194

5.7.4　Mask-RCNN：準確的圖像分割網路195

5.8　風格轉移197

第6章　AlphaGo架構綜述200

6.1　從AlphaGo到AlphaZero201

6.1.1　AlphaGo v13與AlphaGo v18201

6.1.2　AlphaGo Master與AlphaGoZero202

6.1.3　解決一切棋類：AlphaZero204

6.2　AlphaGo的對弈過程205

6.2.1　策略網路205

6.2.2　來自人類的思路208

6.2.3　蒙特卡洛樹搜尋與估值問題209

6.2.4　從快速走子估值到價值網路211

6.2.5　從搜尋樹看策略與價值網路的作用213

6.2.6　策略與價值網路的運作實例215

6.3　AlphaGo中的深度卷積網路架構217

6.4　AlphaGo的訓練過程219

6.4.1　原版AlphaGo：策略梯度方法219

6.4.2　新版AlphaGo：從蒙特卡洛樹搜尋學習220

6.5　AlphaGo方法的推廣221

第7章　訓練策略網路與實戰224

7.1　訓練前的準備工作224

7.1.1　棋譜數據225

7.1.2　落子模擬226

7.1.3　終局判斷226

7.2　訓練代碼227

7.2.1　主程式：train.py227

7.2.2　訓練參數：config.py233

7.2.3　輔助函式：util.py234

7.2.4　棋盤隨機變換：symmetry.py235

7.2.5　訓練實例236

7.3　對弈實戰237

第8章　生成式對抗網路：GAN240

8.1　GAN的起源故事240

8.2　GAN的基本原理242

8.2.1　生成模型：從圖像到編碼，從編碼到圖像242

8.2.2　GAN的基本效果243

8.2.3　GAN的訓練方法246

8.3　實例：DCGAN及訓練過程248

8.3.1　網路架構248

8.3.2　訓練代碼249

8.4　GAN的更多架構和套用255

8.4.1　圖像轉移：CycleGAN系列255

8.4.2　生成高解析度圖像：nVidia的改進260

8.4.3　自動提取信息：InfoGAN261

8.4.4　更多套用264

8.5　更多的生成模型方法266

8.5.1　自編碼器：從AE到VAE266

8.5.2　逐點生成：PixelRNN和PixelCNN系列267

8.5.3　將VAE和GAN結合：CVAE-GAN268

第9章　通向智慧型之秘272

9.1　計算機視覺的難度272

9.2　對抗樣本，與深度網路的特點276

9.3　人工智慧的挑戰與機遇278

9.3.1　棋類遊戲中的電腦陷阱278

9.3.2　偏見、過濾氣泡與道德困境280

9.3.3　語言的迷局283

9.3.4　強化學習、機器人與目標函式286

9.3.5　創造力、審美與意識之謎290

9.3.6　預測學習：機器學習的前沿293

9.4　深度學習的理論發展295

9.4.1　超越反向傳播：預測梯度與生物模型295

9.4.2　超越神經網路：Capsule與gcForest297

9.4.3　泛化問題300

9.5　深度學習與人工智慧的展望304

9.5.1　工程層面304

9.5.2　理論層面304

9.5.3　套用層面305

跋　人工智慧與我們的未來306

附錄　深度學習與AI的網路資源310