深度學習理論與實踐(2020年北京郵電大學出版社有限公司出版的圖書)

《深度學習理論與實踐》是2020年北京郵電大學出版社有限公司出版的圖書。本書系統地介紹了對新一代人工智慧發展起主導作用的深度學習算法的來源、發展現狀、工作機理及數學基礎等。

基本介紹

• 書名：深度學習理論與實踐
• 作者：楊博雄
• 出版社：北京郵電大學出版社有限公司
• ISBN：9787563562022

內容簡介

本書系統地介紹了對新一代人工智慧發展起主導作用的深度學習算法的來源、發展現狀、工作機理及數學基礎等。在此基礎上，本書對典型的深度學習算法（如卷積神經網路、圖卷積神經網路、循環神經網路、遞歸神經網路、深度置信網路、生成對抗網路、深度遷移學習等）進行了深入介紹，通過嚴密的理論推導、各種新型算法的比較，並配合豐富生動的案例講解，來增強讀者對深度學習算法的基本原理、開發方法、套用部署等的全面掌握。本書既具備一定的理論深度，也具有一定的套用高度，不僅可作為高等院校人工智慧、智慧型科學與技術、計算機科學與技術、數據科學與大數據、模式識別與智慧型系統等專業及相關專業的本科生、研究生的教材，也可作為從事基於深度學習的各類智慧型化套用的工程技術人員的參考書。

圖書目錄

目 錄

第1章 概述1

1.1 引言1

1.2 新一代人工智慧4

1.3 深度學習7

1.3.1 深度學習的起源7

1.3.2 深度學習的發展7

1.3.3 深度學習的爆發8

1.4 人工智慧、機器學習與深度學習的關係9

本章小結13

課後習題13

第2章 深度學習基礎知識15

2.1 人工神經網路15

2.1.1 神經元15

2.1.2 感知器16

2.1.3 多層感知器17

2.2 BP算法18

2.2.1 BP算法的基本原理18

2.2.2 激活函式20

2.2.3 梯度下降法22

2.3 深度學習與神經網路26

2.3.1 深度學習的基本思想26

2.3.2 深度學習與神經網路的關係27

2.3.3 深度學習的學習過程27

2.4 深度學習的主要方法29

2.4.1 監督學習29

2.4.2 無監督學習30

2.4.3 半監督學習31

2.4.4 增強學習31

2.4.5 遷移學習33

2.4.6 對偶學習33

2.5 深度學習開源框架與TensorFlow示例34

2.5.1 深度學習開源框架34

2.5.2 TensorFlow與編程示例36

本章小結42

課後習題43

第3章 卷積神經網路44

3.1 卷積神經網路簡介44

3.2 卷積層46

3.2.1 卷積層介紹46

3.2.2 TensorFlow實現卷積操作53

3.2.3 激活函式57

3.3 池化層59

3.3.1 池化層介紹59

3.3.2 TensorFlow實現池化操作61

3.4 全連線層62

3.4.1 全連線層介紹62

3.4.2 TensorFlow全連線神經網路的實現65

3.5 經典CNN模型66

3.5.1 AlexNet66

3.5.2 VGGNet67

3.5.3 GoogLeNet68

3.5.4 ResNet70

3.6 CNN的套用領域71

3.6.1 計算機視覺72

3.6.2 自然語言處理76

3.6.3 語音識別78

3.7 CNN套用實例79

3.7.1 手寫數字識別79

3.7.2 寫詩機器人82

3.7.3 基於GANs生成人臉88

本章小結94

課後習題94

第4章 圖卷積神經網路97

4.1 圖卷積神經網路的基礎97

4.1.1 圖的定義97

4.1.2 圖節點的表示98

4.1.3 圖節點的聚合99

4.1.4 子圖級嵌入105

4.1.5 圖神經網路的輸出106

4.2 基於譜域的圖卷積神經網路106

4.2.1 基於Fourier的圖上卷積運算元的構建106

4.2.2 基於譜圖小波變換的圖上卷積運算元的構建130

4.3 基於空間域的圖卷積神經網路142

4.3.1 注意力機制142

4.3.2 圖注意力層143

4.3.3 套用案例——GAT145

4.4 基於GCN的圖時空網路147

4.4.1 道路圖的交通預測147

4.4.2 圖的卷積148

4.4.3 STGCN模型148

本章小結150

課後習題150

第5章 循環神經網路和遞歸神經網路151

5.1 循環神經網路的概念151

5.2 循環神經網路前向計算152

5.3 長短時記憶網路154

5.3.1 LSTM結構154

5.3.2 LSTM前向計算155

5.3.3 實驗：利用LSTM模型生成古詩156

5.4 循環神經網路的其他變形及套用159

5.4.1 GRU159

5.4.2 序列到序列模型160

5.4.3 實驗：基於Seq2Seq模型的聊天機器人161

5.5 遞歸神經網路163

5.5.1 遞歸神經網路的前向計算166

5.5.2 遞歸神經網路的訓練167

5.5.3 權重梯度的計算及權重更新170

本章小結171

課後習題171

第6章 深度置信網路174

6.1 受限玻爾茲曼機174

6.1.1 引言174

6.1.2 玻爾茲曼機174

6.1.3 受限玻爾茲曼機的定義175

6.1.4 RBM參數學習176

6.1.5 RBM模型參數求解177

6.1.6 RBM模型訓練算法177

6.1.7 RBM模型評估178

6.2 深度置信網路概述178

6.2.1 引言178

6.2.2 DBN-DNN結構179

6.2.3 模型訓練180

6.3 深度置信網路實驗183

本章小結191

課後習題191

第7章 生成對抗網路192

7.1 引言192

7.2 GAN原理與模型訓練方法193

7.2.1 GAN的工作原理193

7.2.2 GAN的特點及其優缺點193

7.2.3 GAN的基本模型194

7.2.4 GAN模型的挑戰194

7.2.5 GAN與Jensen-Shannon散度195

7.2.6 生成器與判別器的網路196

7.3 GAN的模型改進197

7.3.1 WGAN197

7.3.2 WGAN-GP198

7.3.3 LSGAN199

7.3.4 f-GAN199

7.3.5 LS-GAN與GLS-GAN200

7.3.6 EBGAN201

7.3.7 BEGAN202

7.4 GAN的套用模型改進203

7.4.1 CGAN203

7.4.2 InfoGAN204

7.4.3 Pix2Pix205

7.4.4 CycleGAN206

7.4.5 StarGAN207

7.4.6 SRGAN208

7.4.7 DeblurGAN210

7.4.8 AttentiveGAN212

7.5 GAN的套用213

7.5.1 圖像領域213

7.5.2 視頻領域213

7.5.3 人機互動領域214

7.6 GAN模擬實驗214

7.6.1 實驗目標214

7.6.2 實驗內容214

7.6.3 實驗步驟215

7.6.4 實驗結果223

本章小結223

課後習題223

第8章 深度遷移學習225

8.1 引言225

8.2 遷移學習的概念與原理226

8.2.1 遷移學習的概念226

8.2.2 遷移學習的原理226

8.3 遷移學習的方法227

8.3.1 基於實例的遷移學習方法228

8.3.2 基於特徵的遷移學習方法229

8.3.3 基於模型的遷移學習方法230

8.3.4 基於關係的遷移學習方法230

8.4 深度遷移學習概述231

8.4.1 基於實例的深度遷移學習231

8.4.2 基於映射的深度遷移學習232

8.4.3 基於網路的深度遷移學習232

8.4.4 基於對抗的深度遷移學習233

8.5 深度遷移學習實驗233

本章小結238

課後習題238

參考文獻239

作者簡介

楊博雄，男，理學博士，武漢大學測繪遙感信息工程國家重點實驗室博士後，三亞學院信息與智慧型工程學院副教授，主要研究方向及興趣領域為人工智慧與大數據以及與此相關的智慧城市、智慧型交通、智慧農業、智慧旅遊、視頻圖像處理等。參與或主持有國家高技術研究發展計畫、國家自然科學基金、中國博士後科學基金、科技部“科學儀器設備升級改造專項”資助項目、湖北省自然科學基金、武漢市人事局創新人才開發基金以及湖北省教育科學規劃等多項國家以及省部級科研項目。在國內外重要學術期刊上發表有論文數十篇。曾獲中國儀器儀表學會科技創新獎、湖北省科技進步三等獎、湖北省自然科學優秀學術論文獎、武漢市科技進步獎三等獎、“揚州.智谷”創意設計大賽一等獎等獎項，擁有專利六項。協助博士後指導老師培養碩士研究生三名、博士研究生一名，獨立培養碩士研究生3名。