深度學習圖解

《深度學習圖解》是清華大學出版社於2020年1月1日出版的一本圖書，作者是[美]安德魯·特拉斯克(Andrew W. Trask)，翻譯是王曉雷、嚴烈。

基本介紹

• 中文名：深度學習圖解
• 作者：[美]安德魯·特拉斯克(Andrew W. Trask)
• 原作品：Grokking Deep Learning
• 譯者：王曉雷 、嚴烈
• 出版社：清華大學出版社
• 出版時間：2020年1月1日 
• 定價：99 元
• 開本：16 開
• 裝幀：鎖線
• ISBN：9787302540991

圖書內容

深度學習是人工智慧的一個分支，受到人類大腦的啟發，致力於指導計算機用神經網路進行學習。線上文本翻譯、自動駕駛、商品推薦和智慧型語音助手等一系列令人興奮的現代技術套用領域，都在深度學習的輔助下取得了突破性進展。

　　《深度學習圖解》指導你從基礎的每一行代碼開始搭建深度學習網路！經驗豐富的深度學習專家Andrew W．Trask以有趣的圖解方式為你揭開深度學習的神秘面紗，使你可親身體會訓練神經網路的每個細節。只需要使用Python語言及其基本的數學庫NumPy，就可以訓練出自己的神經網路，藉助它觀察並理解圖像、將文字翻譯成不同的語言，甚至像莎士比亞一樣寫作！當你完成這一切後，就為成為精通深度學習框架的專家做好了充分準備！

《深度學習圖解》主要內容： 深度學習的基礎科學原理，自行設計和訓練神經網路，隱私保護的知識，包括聯邦學習，幫助你繼續深度學習之旅的建議。

作者簡介

Andrew W. Trask是Digital Reasoning公司機器學習實驗室的創始成員，該實驗室致力於自然語言處理、圖像識別和音頻轉錄的深度學習研究。幾個月內，Andrew和他的夥伴們就在情緒分類和詞性標註方面發表了超過業界最佳方案的結果。

他訓練了世界上最大的人工神經網路，擁有超過1600億個參數，實驗結果發表在ICML(International Conference on Machine Learning)上，還有一部分結果發表在Journal of Machine Learning(JML)上。他在Digital Reasoning公司擔任文本處理和音頻分析的產品經理，負責仿真認知計算平台的架構設計，深度學習是這一平台的核心能力。

圖書目錄

第1章深度學習簡介：為什麼應該學習深度學習1

1.1　歡迎閱讀《深度學習圖解》1

1.2　為什麼要學習深度學習2

1.3　這很難學嗎?3

1.4　為什麼要閱讀本書3

1.5　準備工作4

1.6　你可能需要掌握一部分Python知識5

1.7　本章小結6

第2章基本概念：機器該如何學習？7

2.1　什麼是深度學習?7

2.2　什麼是機器學習？8

2.3　監督機器學習9

2.4　無監督機器學習10

2.5　參數學習和非參數學習10

2.6　監督參數學習11

2.7　無監督參數學習13

2.8　非參數學習14

2.9　本章小結15

第3章神經網路預測導論：前向傳播17

3.1　什麼是預測17

3.2　能夠進行預測的簡單神經網路19

3.3　什麼是神經網路?20

3.4　這個神經網路做了什麼?21

3.5　使用多個輸入進行預測23

3.6　多個輸入：這個神經網路做了什麼?24

3.7　多個輸入：完整的可運行代碼29

3.8　預測多個輸出30

3.9　使用多個輸入和輸出進行預測32

3.10　多輸入多輸出神經網路的工作原理33

3.11　用預測結果進一步預測35

3.12　NumPy快速入門37

3.13　本章小結40

第4章神經網路學習導論：梯度下降41

4.1　預測、比較和學習41

4.2　什麼是比較42

4.3　學習42

4.4　比較：你的神經網路是否做出了好的預測？43

4.5　為什麼需要測量誤差？44

4.6　最簡單的神經學習形式是什麼？45

4.7　冷熱學習46

4.8　冷熱學習的特點47

4.9　基於誤差調節權重48

4.10　梯度下降的一次疊代50

4.11　學習就是減少誤差52

4.12　回顧學習的步驟54

4.13　權重增量到底是什麼?55

4.14　狹隘的觀點57

4.15　插著小棍的盒子58

4.16　導數：兩種方式59

4.17　你真正需要知道的60

4.18　你不需要知道的60

4.19　如何使用導數來學習61

4.20　看起來熟悉嗎?62

4.21　破壞梯度下降63

4.22　過度修正的可視化64

4.23　發散65

4.24　引入α66

4.25　在代碼中實現α66

4.26　記憶背誦67

第5章通用梯度下降：一次學習多個權重69

5.1　多輸入梯度下降學習69

5.2　多輸入梯度下降詳解71

5.3　回顧學習的步驟75

5.4　單項權重凍結：它有什麼作用?77

5.5　具有多個輸出的梯度下降學習79

5.6　具有多個輸入和輸出的梯度下降81

5.7　這些權重學到了什麼?83

5.8　權重可視化85

5.9　點積(加權和)可視化86

5.10　本章小結87

第6章建立你的第一個深度神經網路：反向傳播89

6.1　交通信號燈問題89

6.2　準備數據91

6.3　矩陣和矩陣關係92

6.4　使用Python創建矩陣95

6.5　建立神經網路96

6.6　學習整個數據集97

6.7　完全、批量和隨機梯度下降97

6.8　神經網路對相關性的學習98

6.9　向上與向下的壓力99

6.10　邊界情況：過擬合101

6.11　邊界情況：壓力衝突101

6.12　學習間接相關性103

6.13　創建關聯104

6.14　堆疊神經網路：回顧105

6.15　反向傳播：遠程錯誤歸因106

6.16　反向傳播：為什麼有效?107

6.17　線性與非線性107

6.18　為什麼神經網路仍然不起作用109

6.19　選擇性相關的秘密110

6.20　快速衝刺111

6.21　你的第一個深度神經網路111

6.22　反向傳播的代碼112

6.23　反向傳播的一次疊代114

6.24　整合代碼116

6.25　為什麼深度網路這么重要?117

第7章如何描繪神經網路：在腦海里，在白紙上119

7.1　到了簡化的時候了119

7.2　關聯抽象120

7.3　舊的可視化方法過於複雜121

7.4　簡化版可視化122

7.5　進一步簡化123

7.6　觀察神經網路是如何進行預測的124

7.7　用字母而不是圖片來進行可視化125

7.8　連線變數126

7.9　信息整合127

7.10　可視化工具的重要性127

第8章學習信號，忽略噪聲：正則化和批處理介紹129

8.1　用在MNIST上的三層網路129

8.2　好吧，這很簡單131

8.3　記憶與泛化132

8.4　神經網路中的過擬合133

8.5　過擬合從何而來134

8.6　最簡單的正則化：提前停止135

8.7　行業標準正則化：dropout136

8.8　為什麼dropout有效：整合是有效的137

8.9　dropout的代碼137

8.10　在MNIST數據集上對dropout進行測試139

8.11　批量梯度下降140

8.12　本章小結143

第9章機率和非線性建模：激活函式145

9.1　什麼是激活函式?145

9.2　標準隱藏層激活函式148

9.3　標準輸出層激活函式149

9.4　核心問題：輸入具有

相似性151

9.5　計算softmax152

9.6　激活函式使用說明153

9.7　將增量與斜率相乘156

9.8　將輸出轉換為斜率(導數)157

9.9　升級MNIST網路157

第10章卷積神經網路概論：關於邊與角的神經學習161

10.1　在多個位置復用權重161

10.2　卷積層162

10.3　基於NumPy的簡單實現164

10.4　本章小結167

第11章能夠理解自然語言的神經網路：國王-男人+女人=？169

11.1　理解語言究竟是指什麼?170

11.2　自然語言處理(NLP)170

11.3　監督NLP學習171

11.4　IMDB電影評論數據集172

11.5　在輸入數據中提取單詞相關性173

11.6　對影評進行預測174

11.7　引入嵌入層175

11.8　解釋輸出177

11.9　神經網路結構178

11.10　單詞嵌入表達的對比180

11.11　神經元是什麼意思?181

11.12　完形填空182

11.13　損失函式的意義183

11.14　國王-男人+女人~=女王186

11.15　單詞類比187

11.16　本章小結188

第12章像莎士比亞一樣寫作的神經網路：變長數據的遞歸層189

12.1　任意長度的挑戰189

12.2　做比較真的重要嗎？190

12.3　平均詞向量的神奇力量191

12.4　信息是如何存儲在這些向量嵌入中的？192

12.5　神經網路是如何使用嵌入的？193

12.6　詞袋向量的局限194

12.7　用單位向量求詞嵌入之和195

12.8　不改變任何東西的矩陣196

12.9　學習轉移矩陣197

12.10　學習創建有用的句子向量198

12.11　Python下的前向傳播199

12.12　如何反向傳播？200

12.13　讓我們訓練它！201

12.14　進行設定201

12.15　任意長度的前向傳播202

12.16　任意長度的反向傳播203

12.17　任意長度的權重更新204

12.18　運行代碼，並分析輸出205

12.19　本章小結207

第13章介紹自動最佳化：搭建深度學習框架209

13.1　深度學習框架是什麼？209

13.2　張量介紹210

13.3　自動梯度計算(autograd)介紹211

13.4　快速檢查213

13.5　多次使用的張量214

13.6　升級autograd以支持多次使用的張量215

13.7　加法的反向傳播如何工作？217

13.8　增加取負值操作的支持218

13.9　添加更多函式的支持219

13.10　使用autograd訓練神經網路222

13.11　增加自動最佳化224

13.12　添加神經元層類型的支持225

13.13　包含神經元層的神經元層226

13.14　損失函式層227

13.15　如何學習一個框架228

13.16　非線性層228

13.17　嵌入層230

13.18　將下標操作添加到

autograd231

13.19　再看嵌入層232

13.20　交叉熵層233

13.21　遞歸神經網路層235

13.22　本章小結238

第14章像莎士比亞一樣寫作：長短期記憶網路239

14.1　字元語言建模239

14.2　截斷式反向傳播的必要性240

14.3　截斷式反向傳播241

14.4　輸出樣例244

14.5　梯度消失與梯度激增245

14.6　RNN反向傳播的小例子246

14.7　長短期記憶(LSTM)元胞247

14.8　關於LSTM門限的直觀理解248

14.9　長短期記憶層249

14.10　升級字元語言模型250

14.11　訓練LSTM字元語言模型251

14.12　調優LSTM字元語言模型252

14.13　本章小結253

第15章在看不見的數據上做深度學習：聯邦學習導論255

15.1　深度學習的隱私問題255

15.2　聯邦學習256

15.3　學習檢測垃圾郵件257

15.4　讓我們把它聯邦化259

15.5　深入聯邦學習260

15.6　安全聚合261

15.7　同態加密262

15.8　同態加密聯邦學習263

15.9　本章小結264

第16章往哪裡去：簡要指引265