深度學習理論方法與PyTorch實踐

《深度學習理論方法與PyTorch實踐》是2021年清華大學出版社出版的圖書。

基本介紹

• 中文名：深度學習理論方法與PyTorch實踐
• 作者：翟中華,孟翔宇
• 出版社：清華大學出版社
• 出版時間：2021年8月
• 開本：16 開
• 裝幀：平裝
• ISBN：9787302568483

內容簡介

本書深入淺出講解深度學習，對複雜的深挖其本質，讓其簡單化；對簡單的深挖其聯繫，讓其豐富化。從理論知識到實戰項目，內容翔實。 本書分為兩篇，基礎篇主要講解深度學習的理論，實戰篇是代碼實踐及套用。基礎篇（第1~13章）包括由傳統機器學習到深度學習的過度、圖像分類的數據驅動的方法、Softmax損失函式、最佳化方法與梯度、卷積神經網路的各種概念、卷積過程、卷積神經網路各種訓練技巧、梯度反傳、各種卷積網路架構、RNN遞歸神經網路和序列模型、基於DL的語言模型、生成模型、生成對抗網路等；實戰篇（第14~19章）包括套用卷積神經網路進行圖像分類、各種網路架構、網路各層可視化、貓狗圖像識別、文本分類、GAN圖像生成等。 本書適合人工智慧專業的本科生、研究生，想轉型人工智慧的IT從業者，以及想從零開始了解並學習深度學習的讀者閱讀。

圖書目錄

基礎篇

第1章什麼是深度學習

1.1通過套用示例直觀理解深度學習

1.23個視角解釋深度學習

1.2.1分層組合性

1.2.2端到端學習

1.2.3分散式表示

1.3深度學習面臨的挑戰

1.3.1深度學習的工作機制

1.3.2非凸的問題

1.3.3可解釋性的問題

第2章圖像識別及KNN算法

2.1圖像分類

2.2誤差分解和KNN算法

2.2.1誤差分解

2.2.2KNN算法運行過程

第3章線性分類器

3.1線性分類器用於圖像分類的3個觀點

3.1.1線性分類的代數觀點

3.1.2線性分類的視覺觀點

3.1.3線性分類的幾何觀點

3.2合頁損失函式原理推導及圖像分類舉例

3.2.1合頁損失函式的概念

3.2.2多分類合頁損失函式的推導

3.3Softmax損失函式與多分類SVM損失函式的比較

3.3.1Softmax分類與損失函式

3.3.2Softmax損失函式與合頁損失函式的比較

第4章最佳化與梯度

4.1梯度下降法工作原理及3種普通梯度下降法

4.1.1梯度下降的概念

4.1.2梯度下降法求解目標函式

4.1.3學習率的重要性

4.1.43種梯度下降法

4.2動量SGD和Nesterov加速梯度法

4.2.1SGD存在的問題

4.2.2動量法

4.2.3Nesterov加速梯度法

4.3自適應學習速率最佳化方法

4.3.1指數加權平均值處理數字序列

4.3.2自適應學習速率AdaGrad方法

4.3.3自適應學習速率RMSProp方法

4.3.4自適應學習速率Adadelta方法

4.4強最佳化方法Adam

4.4.1為什麼Adam性能如此卓越

4.4.2偏差矯正

4.4.3如何矯正偏差

第5章卷積神經網路

5.1卷積核

5.1.1卷積核簡介

5.1.2卷積核的作用

5.2卷積神經網路中步長、填充和通道的概念

5.2.1步長

5.2.2填充

5.2.3通道

5.3快速推導卷積層特徵圖尺寸計算公式

5.3.1計算過程直觀展示

5.3.2計算過程總結

5.4極簡方法實現卷積層的誤差反傳

5.4.1誤差反傳舉例說明

5.4.2完全卷積過程簡介

5.4.3把卷積過程寫成神經網路形式

5.4.4套用計算圖的反向模式微分

5.5極池化層的本質思想及其過程

5.5.1池化層的分類

5.5.2池化後圖像尺寸

第6章卷積神經網路訓練技巧

6.1ReLU激活函式的優勢

6.1.1為什麼需要激活函式

6.1.2主流激活函式介紹

6.2內部協變數偏移

6.3批歸一化

6.3.1為什麼需要批歸一化

6.3.2批歸一化的工作原理

6.3.3批歸一化的優勢

6.4Dropout正則化及其集成方法思想

6.4.1特徵共適應性

6.4.2Dropout正則化思想

6.4.3Dropout集成思想

6.4.4預測時需要恢復Dropout的隨機性

第7章卷積神經網路架構

7.1掀起深度學習風暴的AlexNet網路架構

7.1.1卷積神經網路的開端LeNet

7.1.2AlexNet架構

7.2神經網路感受野及其計算

7.2.1生物學中的感受野

7.2.2CNN中的感受野

7.3VGGNet網路結構相比較AlexNet的優勢

7.3.1VGGNet簡介

7.3.2VGGNet與AlexNet網路結構對比

7.4GoogLeNet 1×1卷積核的深刻意義及其作用

7.4.1深度神經網路的缺陷

7.4.2多通道卷積中特徵圖映射太多的問題

7.4.31×1卷積核卷積過程

7.5GoogLeNet初始模組設計指導思想

7.5.1赫布學習規則

7.5.2人工神經網路中的赫布學習規則

7.6透徹理解GoogLeNet全景架構

7.7ResNet關鍵結構恆等映射背後的思想及原理

7.8全面理解ResNet全景架構

第8章循環神經網路

8.1為什麼要用遞歸神經網路

8.1.1為什麼需要遞歸神經網路

8.1.2RNN結構以及套用

8.2RNN計算圖

8.3RNN前向與反向傳播

8.3.1前饋深度

8.3.2循環深度

8.3.3通過時間反向傳播

8.3.4兩個和的反向傳播

8.3.5梯度消失和梯度爆炸

8.4長短期記憶(LSTM)及其變種的原理

8.4.1LSTM網路架構

8.4.2LSTM變體一

8.4.3LSTM變體二

8.4.4LSTM變體三

第9章基於深度學習的語言模型

9.1詞的各種向量表示

9.2通過詞向量度量詞的相似性

9.3潛在語義分析LSA

9.3.1潛在語義分析的過程

9.3.2潛在語義分析的SVD分解

9.4Word2Vec詞嵌入原理

9.4.1Word2Vec的指導思想

9.4.2skipgram算法的框架

9.4.3skipgram算法的輸入訓練集

9.4.4skipgram算法的目標函式

9.4.5skipgram網路中的兩個權重矩陣

9.5GloVe詞向量模型

9.5.1由單詞共同出現的次數到共同出現的機率

9.5.2GloVe模型目標函式的推導

9.6從onehot向量到seq2seq序列模型

9.7編碼器解碼器模型

9.8為什麼要用注意力機制

9.8.1大腦中的注意力

9.8.2為什麼要使用注意力機制

9.9注意力機制的數學原理

第10章深度學習NLP套用進階

10.1注意力機制的套用指針網路

10.2遞歸神經網路是否是必要的

10.2.1遞歸神經網路存在的問題

10.2.2前饋網路的優勢

10.2.3如何替代遞歸神經網路

10.3Transformer的數學原理

10.3.1什麼是Transformer

10.3.2Transformer結構的形象展示

10.3.3什麼是自我注意力

10.3.4多頭自我注意力

10.4Transformer的3個矩陣K、V、Q

10.5Transformer的位置編碼原理

10.5.1位置編碼的向量計算

10.5.2位置編碼的表示

10.6Transformer的全景架構

10.7深度語境化詞語表示ELMo

10.7.1為什麼需要語境情景化的表示

10.7.2ELMo的算法構成

10.7.3ELMo整體框架

10.7.4ELMo的套用

10.7.5ELMo算法的效果

10.8NLP里程碑模型BERT三大集成創新

10.8.1雙向上下文遮蔽語言模型

10.8.2使用Transformer

10.8.3遷移學習

10.8.4套用於特定任務

第11章深度生成模型

11.1監督學習與無監督學習的比較

11.1.1監督學習

11.1.2無監督學習

11.2為什麼要用生成模型

11.2.1分類

11.2.2生成模型套用實例

11.3自編碼

11.4從機率視角理解VAE建模過程

11.5KL散度

11.6VAE損失函式推導

11.7用深度神經網路求解VAE目標函式

第12章生成對抗網路

12.1GAN目標函式

12.2通過博弈論理解GAN原理

12.3由JS散度推導GAN判別器和生成器值

12.4深度卷積生成對抗網路(DCGAN)

12.4.1DCGAN使用的方法

12.4.2DCGAN中的生成器

12.4.3DCGAN對抗訓練的細節

12.5條件生成對抗網路

12.5.1CGAN的網路結構

12.5.2CGAN的數學原理

12.5.3生成器和判別器的目標損失函式

第13章生成對抗網路的創新及套用

13.1圖像到圖像的翻譯

13.1.1CNN可否預測圖像

13.1.2CGAN的具體套用： 以不同形態的圖像為條件

13.1.3CGAN結構上的兩大創新

13.1.4圖像到圖像翻譯的套用場景

13.2循環生成對抗網路

13.3CycleGAN對抗性損失和循環一致性原理

13.4從條件熵的視角剖析CycleGAN

13.5CycleGAN實驗結果

13.6超解析度生成對抗網路(SRGAN)

13.7SRGAN的網路架構

13.8疊加生成對抗網路

13.9StackGAN中的條件增強

13.10漸進式增長生成對抗網路

13.11StyleGAN中的自適應實例規範化

13.12StyleGAN中刪除傳統輸入與隨機變化

13.13為什麼GAN很難訓練

13.14GAN中梯度消失與梯度不穩定

13.15Wasserstein距離

13.16為什麼Wasserstein距離比KL、JS散度更有利於訓練GAN

實戰篇

第14章PyTorch入門

14.1PyTorch介紹及張量

14.1.1PyTorch及其特定優勢

14.1.2PyTorch安裝

14.1.3張量

14.2PyTorch動態圖、自動梯度、梯度反傳

14.3使用PyTorch的nn包構建卷積神經網路

第15章手寫數字識別

15.1手寫數字識別的解決方案

15.1.1手寫數字識別的研究意義與背景

15.1.2手寫數字識別的項目挑戰

15.1.3手寫數字識別的項目原理與解決方案

15.2搭建多層全連線神經網路實現MNIST手寫數字識別

15.2.1由淺入深搭建3層全連線網路

15.2.2MNIST訓練集和測試集載入

15.2.3模型訓練與評估

15.3基於卷積神經網路的MNIST手寫數字識別

15.3.1卷積神經網路基本解讀

15.3.2搭建一個卷積神經網路

第16章基於PyTorch的卷積神經網路可視化理解

16.1問題背景

16.2卷積神經網路

16.2.1比較多層感知機和卷積神經網路

16.2.2神經元的感知野

16.3計算機如何查看輸入的圖像

16.4構建過濾器

16.5完整的卷積神經網路結構

16.6可視化一個簡單的卷積神經網路

16.7使用預訓練的AlexNet進行各層卷積可視化

16.7.1輸入圖片可視化

16.7.2可視化過濾器——多通道

16.7.3可視化過濾器——單通道

16.8圖像遮擋實驗

16.9總結

第17章基於Keras實現Kaggle貓狗大戰

17.1貓狗大戰背景介紹

17.2Keras介紹及安裝配置

17.2.1什麼是Keras

17.2.2安裝TensorFlow

17.2.3安裝Keras

17.3基於卷積神經網路的貓狗大戰

17.3.1構建第1個網路

17.3.2增加丟棄

17.3.3增加數據增強

17.4基於遷移學習的貓狗大戰

17.4.1VGG16簡介

17.4.2使用VGG16預測圖像包含什麼內容

17.4.3訓練貓狗大戰分類器

17.4.4轉移學習/微調模型

第18章基於PyTorch實現一個DCGAN案例

18.1介紹

18.2生成對抗網路

18.2.1什麼是GAN

18.2.2什麼是DCGAN

18.2.3輸入

18.2.4數據

18.2.5實現

18.2.6結果

18.2.7未來

第19章從零出發實現基於RNN的3個套用

19.1RNN網路結構及原理

19.2使用字元級RNN對姓名進行分類

19.2.1準備數據注意

19.2.2將姓名轉換為張量

19.2.3創建網路

19.2.4訓練

19.3使用字元級RNN生成名稱

19.3.1準備數據

19.3.2構建網路

19.3.3訓練

19.3.4繪製損失

19.3.5網路採樣

19.4使用序列到序列的網路和注意機制完成翻譯

19.4.1載入數據檔案

19.4.2seq2seq模型

19.4.3訓練

19.4.4繪圖結果

19.4.5評估

19.4.6訓練與評估

19.4.7可視化注意機制

參考文獻

作者簡介

翟中華 清華大學碩士畢業，北京洪策元創智慧型科技有限公司CEO，AI火箭營首席講師。在機器學習、深度學習、計算機視覺、自然語言處理等人工智慧領域有紮實的理論基礎和豐富的套用實踐經驗。主講的課程“深度學習入門系列講解”“PyTorch深度學習實戰”等累計學員約50萬人次，講課風格抽絲剝繭、嘗入淺出、以簡馭繁，能夠把複雜的原理簡單化，把簡單的原理內涵化，深受廣大學員的認可。

孟翔宇 華中科技大學軟體工程碩士，現就職於阿里巴巴集團（杭州），先後從事面向B類外貿電商的商家生命周期建模、計算廣告相關性匹配和推薦廣告召回等領域的研究和實踐工作。擁有工業海量數據場景下的建模理論和實戰經驗，對多種機器學習、深度學習和強化學習模型有著濃厚的興趣和較深的理解。