《深度學習算法與實踐》是2020年人民郵電出版社出版的圖書，作者是於子葉。
基本介紹
- 中文名：深度學習算法與實踐
- 作者：於子葉
- 出版社：人民郵電出版社
- ISBN：9787115500472
內容簡介,作者簡介,目錄,
內容簡介
本書旨在為讀者建立完整的深度學習知識體系。全書內容包含3個部分，第一部分為與深度學習相關的數學基礎；第二部分為深度學習的算法基礎以及相關實現；第三部分為深度學習的實際套用。通過閱讀本書，讀者可加深對深度學習算法的理解，並將其套用到實際工作中。
本書適用於對深度學習感興趣並希望從事相關工作的讀者，也可作為高校相關專業的教學參考書。
作者簡介
於子葉，中國科學院博士研究生，曾就職於生物科技公司。從事數值模擬算法以及智慧型算法設計研究。曾參與四川地區災害監測智慧型算法設計工作，將深度學習算法套用於災害檢測領域。人工智慧講師，參與AI線下課程設計，普及TensorFlow使用。
目錄
第 一部分
第 1章 空間幾何與線性代數 3
1．1 多維幾何空間 3
1．1．1 空間、函式和向量 3
1．1．2 空間變換與矩陣 7
1．2 矩陣和運算 9
1．2．1 矩陣基本運算 9
1．2．2 矩陣分塊運算和線性變換 10
1．2．3 矩陣分解 11
1．2．4 方陣的線性變換：特徵值分解 12
1．2．5 非方陣線性變換：奇異值分解 13
1．2．6 其他線性變換：字典學習 14
1．3 實踐部分 14
1．3．1 矩陣定義與計算 14
1．3．2 仿射變換實例 16
1．3．3 數據壓縮 18
1．4 小結 20
第 2章 機率與統計 22
2．1 機率基礎概念 22
2．2 隨機變數數字特徵 25
2．3 信息熵 28
2．4 機率模型下的線性變換 30
2．5 最大似然估計與最大後驗估計 31
2．6 常見分布 34
2．7 實踐部分 36
2．8 小結 40
第3章 函式建模與最佳化 41
3．1 函式與建模 41
3．1．1 機器學習問題描述 42
3．1．2 函式的展開與建模 44
3．2 最佳化問題 45
3．2．1 多元函式展開和梯度 45
3．2．2 無約束最最佳化問題 46
3．2．3 約束最最佳化問題提出 49
3．2．4 等式約束的最最佳化問題示例 50
3．2．5 不等式約束的最最佳化問題示例 51
3．2．6 約束最最佳化與最大熵 53
3．3 損失函式的多元函式表示 54
3．3．1 基於梯度的最佳化算法 54
3．3．2 動量加入 55
3．3．3 AdaGrad與Adam算法 55
3．4 過擬合與欠擬合問題 57
3．4．1 問題闡述 57
3．4．2 過擬合與欠擬合判斷 59
3．5 集成學習 61
3．5．1 方差和偏差 61
3．5．2 Bagging和Boosting 62
3．6 實踐部分 63
3．6．1 線性回歸問題 63
3．6．2 使用TensorFlow進行曲線擬合 65
3．6．3 多元線性回歸問題 66
3．7 小結 68
第4章 機器學習庫的使用 69
4．1 TensorFlow執行過程 69
4．2 建模與最佳化所需的函式 72
4．2．1 自動求導 72
4．2．2 矩陣以及相關的計算 73
4．2．3 從手寫數字識別例子來完整學習建模和最佳化過程 75
4．3 多個計算圖 80
4．4 變數命名 80
4．5 小結 83
第二部分
第5章 深度學習模型與全連線網路 87
5．1 多層神經網路與理解 87
5．1．1 表格類型數據與線性模型 87
5．1．2 多層神經網路模型引入 90
5．1．3 過擬合問題 94
5．2 鏈式求導與反向傳播 96
5．2．1 矩陣相乘可訓練參數導數與誤差傳播 96
5．2．2 偏置項導數可訓練參數導數與誤差傳播 97
5．2．3 通過函式可訓練參數導數與誤差傳播 97
5．3 實踐部分 98
5．3．1 多層全連線網路從零實現 98
5．3．2 調用TensorFlow實現全連線網路 101
5．3．3 空間變換 102
5．3．4 TensorFlow高層API 103
5．4 小結 104
第6章 卷積神經網路 105
6．1 連續型數據 105
6．2 信號處理中的卷積 107
6．2．1 滑動互相關與特徵提取 107
6．2．2 濾波概念與滑動互相關關係 109
6．3 從神經網路的角度看待卷積神經網路 112
6．4 卷積神經網路 113
6．4．1 輸入數據形式 113
6．4．2 卷積的數學形式 114
6．4．3 感受野 114
6．4．4 加深網路與調整步長 115
6．4．5 池化層的數學形式 115
6．4．6 空洞卷積 116
6．4．7 圖像金字塔 117
6．5 卷積神經網路反向傳播算法 117
6．5．1 卷積層反向傳播 118
6．5．2 池化層反向傳播 118
6．5．3 展開層反向傳播 118
6．6 實踐部分 118
6．6．1 卷積結構濾波 118
6．6．2 卷積神經網路從零實現 121
6．6．3 卷積神經網路的TensorFlow實現 125
6．6．4 卷積神經網路其他API 127
6．7 小結 127
第7章 循環神經網路基礎 128
7．1 文本數據類型 128
7．1．1 無順序文本 128
7．1．2 順序文本處理 130
7．2 文本問題建模 130
7．2．1 無順序文本建模 130
7．2．2 順序文本建模 132
7．3 循環神經網路模型 132
7．3．1 基本循環神經網路模型 132
7．3．2 循環神經網路結構改進 133
7．3．3 卷積神經網路處理時序數據 134
7．4 反向傳播過程 134
7．5 實踐部分 134
7．5．1 從零實現循環神經網路 134
7．5．2 文本分類問題 139
7．5．3 TensorFlow的Embedding示例 141
7．5．4 TensorFlow的RNN輸入與輸出示例 141
7．5．5 中文分詞示例 142
7．6 小結 142
第8章 循環神經網路擴展 144
8．1 雙向RNN 144
8．2 聯結主義時間分類器 146
8．2．1 CTC-Loss 146
8．2．2 CTC解碼 147
8．3 編碼-解碼結構（基於RNN） 149
8．3．1 結構說明 149
8．3．2 序列損失函式（Sequence Loss） 151
8．3．3 預測過程 151
8．4 實踐部分 151
8．4．1 使用RNN進行文本分類 151
8．4．2 使用RNN進行文本生成實例 152
8．4．3 中文文本分詞實踐 155
8．5 小結 162
第9章 深度學習最佳化 163
9．1 網路結構最佳化 163
9．1．1 Inception結構 163
9．1．2 殘差網路 164
9．1．3 注意力機制 165
9．2 神經網路輔助結構 167
9．2．1 批正則化 167
9．2．2 DropOut 168
9．3 深度學習參數最佳化 169
9．3．1 學習率 169
9．3．2 批尺寸 169
9．3．3 Embedding大小與DropOut數值 169
9．3．4 格線搜尋方法 169
9．3．5 初始化策略 170
9．3．6 數據預處理 170
9．3．7 梯度剪裁 170
9．4 實踐部分 171
9．5 小結 172
第三部分
第 10章 圖像處理任務 175
10．1 圖像多分類問題 175
10．1．1 人臉識別類任務分析 179
10．1．2 三元損失函式 179
10．1．3 使用分類問題訓練 180
10．1．4 CenterLoss 180
10．1．5 結果 181
10．2 任意大小圖像處理 182
10．2．1 純卷積結構 182
10．2．2 圖像處理任務中的分類與回歸問題 184
10．2．3 預測過程 186
10．3 物體檢測問題 189
10．3．1 RCNN類物體檢測算法 189
10．3．2 Yolo類物體檢測方法 195
10．4 小結 199
第 11章 自然語言處理 200
11．1 語音識別任務 200
11．1．1 語音信號特徵 201
11．1．2 語音處理模型 204
11．1．3 結果輸出 205
11．2 自然語言翻譯 205
11．2．1 編碼結構 206
11．2．2 解碼結構 206
11．2．3 Attention機制 211
11．2．4 網路結構圖像解釋 214
11．2．5 損失函式 214
11．3 文本轉語音（TTS）模型 215
11．3．1 網路模型 215
11．3．2 自定義RNN結構：ZoneoutLSTM 215
11．3．3 自定義RNN：帶有卷積層的循環網路 218
11．3．4 自定義解碼器 219
11．3．5 自定義Helper 221
11．3．6 自定義Attention機制 222
11．3．7 模型描述 223
11．3．8 後處理 225
11．3．9 結果展示 226
11．4 小結 227
第 12章 非監督學習模型 228
12．1 對抗生成網路 228
12．1．1 反卷積結構 229
12．1．2 對抗神經網路的搭建 230
12．1．3 結果展示 234
12．2 去噪自編碼器 234
12．2．1 去噪自編碼器結構 235
12．2．2 去噪結果 235
12．2．3 與對抗生成網路對比 236
12．3 增強學習 236
12．3．1 遊戲說明 238
12．3．2 網路模型 239
12．3．3 損失函式構建 240
12．4 小結 242
