深入理解神經網路

《深入理解神經網路》是2019年人民郵電出版社出版的圖書，作者是張覺非。

基本介紹

• 書名：深入理解神經網路 
• 作者：張覺非
• 出版社：人民郵電出版社
• ISBN：9787115517234

內容簡介

本書以神經網路為線索，沿著從線性模型到深度學習的路線講解神經網路的原理和實現。本書將數學基礎知識與機器學習和神經網路緊密結合，包含線性模型的結構與局限、損失函式、基於一階和二階信息的最佳化算法、模型自由度與正則化、神經網路的表達能力、反向傳播與計算圖自動求導、卷積神經網路等主題，幫助讀者建立基於數學原理的較深刻的洞見和認知。本書還提供了邏輯回歸、多層全連線神經網路和多種訓練算法的Python實現，以及運用TensorFlow搭建和訓練多種卷積神經網路的代碼實例。

作者簡介

張覺非，本科畢業於復旦大學計算機系，於中國科學院古脊椎動物與古人類研究所取得古生物學碩士學位，目前在網際網路行業從事機器學習算法相關工作。

目錄

第 一部分　線性模型

第 1章　邏輯回歸 2

1．1　作為一個神經元的邏輯回歸 2

1．2　基礎向量幾何 4

1．2．1　向量 4

1．2．2　向量的和、數乘與零向量 6

1．2．3　向量的內積、模與投影 8

1．2．4　線性空間、基與線性函式 11

1．2．5　直線、超平面與仿射函式 14

1．3　從幾何角度理解邏輯回歸的能力 和局限 17

1．4　實例：根據鳥類骨骼判斷生態類群 20

1．5　小結 24

第 2章　模型評價與損失函式 25

2．1　訓練集與測試集 25

2．2　分類模型的評價 26

2．2．1　混淆矩陣 26

2．2．2　正確率 27

2．2．3　查準率 27

2．2．4　查全率 27

2．2．5　ROC曲線 28

2．3　損失函式 29

2．3．1　K-L散度與交叉熵 29

2．3．2　最大似然估計 31

2．3．3　從幾何角度理解交叉熵損失 33

2．4　小結 35

第3章　梯度下降法 36

3．1　多元函式的微分 36

3．1．1　梯度 37

3．1．2　方嚮導數 40

3．1．3　偏導數 43

3．1．4　駐點 43

3．1．5　局部極小點 44

3．2　梯度下降法 46

3．2．1　反梯度場 47

3．2．2　梯度下降法 49

3．2．3　梯度下降法的問題 50

3．3　梯度下降法的改進 52

3．3．1　學習率調度 52

3．3．2　衝量法 54

3．3．3　AdaGrad 55

3．3．4　RMSProp 56

3．3．5　Adam 57

3．4　運用梯度下降法訓練邏輯回歸 59

3．5　梯度下降法訓練邏輯回歸的Python 實現 61

3．6　小結 67

第4章　超越梯度下降 68

4．1　矩陣 68

4．1．1　矩陣基礎 68

4．1．2　矩陣的逆 71

4．1．3　特徵值與特徵向量 73

4．1．4　對稱矩陣的譜分解 74

4．1．5　奇異值分解 76

4．1．6　二次型 77

4．2　多元函式的局部二階特性 79

4．2．1　赫森矩陣 79

4．2．2　二階泰勒展開 79

4．2．3　駐點的類型 82

4．2．4　赫森矩陣的條件數 84

4．3　基於二階特性的最佳化 87

4．3．1　牛頓法 87

4．3．2　共軛方向法 92

4．4　運用牛頓法訓練邏輯回歸 95

4．5　牛頓法訓練邏輯回歸的Python實現 98

4．6　小結 100

第5章　正則化 102

5．1　機率論回顧 102

5．1．1　隨機變數 102

5．1．2　多元隨機變數 105

5．1．3　多元隨機變數的期望和協方差 矩陣 106

5．1．4　樣本均值和樣本協方差矩陣 106

5．1．5　主成分 108

5．1．6　常態分配 111

5．2　模型自由度與偏置 方差權衡 115

5．2．1　最小二乘線性回歸 116

5．2．2　模型自由度 118

5．2．3　偏置 方差權衡 119

5．3　正則化 122

5．3．1　嶺回歸與L2正則化 122

5．3．2　L2正則化的貝葉斯視角 125

5．3．3　L1正則化 126

5．4　過擬合與欠擬合 127

5．5　運用L2正則化訓練邏輯回歸 130

5．6　運用L2正則化訓練邏輯回歸的 Python實現 132

5．7　小結 135

第二部分　神經網路

第6章　神經網路 138

6．1　合作的神經元 138

6．2　多層全連線神經網路 142

6．3　激活函式 145

6．3．1　Linear 145

6．3．2　Logistic 146

6．3．3　Tanh 148

6．3．4　ReLU 150

6．3．5　Leaky ReLU以及PReLU 151

6．3．6　SoftPlus 153

6．4　多分類與SoftMax 154

6．5　小結 157

第7章　反向傳播 158

7．1　映射 158

7．1．1　仿射映射 158

7．1．2　雅可比矩陣 159

7．1．3　鏈式法則 160

7．2　反向傳播 162

7．2．1　網路的符號表示 162

7．2．2　原理 163

7．2．3　實現 166

7．3　相關問題 169

7．3．1　計算量 169

7．3．2　梯度消失 170

7．3．3　正則化 170

7．3．4　權值初始化 171

7．3．5　提前停止 171

7．4　多層全連線神經網路的Python實現 173

7．5　小結 182

第8章　計算圖 183

8．1　計算圖模型 183

8．1．1　簡介 183

8．1．2　多層全連線神經網路的計算 圖 187

8．1．3　其他神經網路結構的計算圖 188

8．2　自動求導 190

8．3　自動求導的實現 192

8．4　計算圖的Python實現 195

8．5　小結 214

第9章　卷積神經網路 215

9．1　卷積 215

9．1．1　一元函式的卷積 215

9．1．2　多元函式的卷積 219

9．1．3　濾波器 223

9．2　卷積神經網路的組件 228

9．2．1　卷積層 228

9．2．2　激活層 230

9．2．3　池化層 231

9．2．4　全連線層 233

9．2．5　跳躍連線 234

9．3　深度學習的正則化方法 236

9．3．1　權值衰減 236

9．3．2　Dropout 237

9．3．3　權值初始化 237

9．3．4　批標準化 238

9．3．5　數據增強 239

9．4　小結 239

第 10章　經典CNN 241

10．1　LeNet-5 241

10．2　AlexNet 245

10．3　VGGNet 248

10．4　GoogLeNet 251

10．5　ResNet 255

10．6　小結 257

第 11章　TensorFlow實例 258

11．1　多分類邏輯回歸 258

11．2　多層全連線神經網路 266

11．3　LeNet-5 269

11．4　AlexNet 273

11．5　VGG16 277

11．4　小結 280

附錄A　CNN與元胞自動機 281

參考文獻 311