《機器學習方法》是清華大學出版社2022年出版的書籍。
基本介紹
- 中文名：機器學習方法
- 作者：李航
- 出版社：清華大學出版社
- ISBN：9787302597308
- 定價：138
內容簡介,圖書目錄,
內容簡介
機器學習是以機率論、統計學、資訊理論、**化理論、計算理論等為基礎的計算機套用理論學科，也是人工智慧、數據挖掘等領域的基礎學科。《機器學習方法》全面系統地介紹了機器學習的主要方法，共分三篇。篇介紹監督學習的主要方法，包括感知機、k近鄰法、樸素貝葉斯法、決策樹、邏輯斯諦回歸與**熵模型、支持向量機、Boosting、EM算法、隱馬爾可夫模型、條件隨機場等；第二篇介紹無監督學習的主要方法，包括聚類、奇異值分解、主成分分析、潛在語義分析、機率潛在語義分析、馬爾可夫鏈蒙特卡羅法、潛在狄利克雷分配、PageRank算法等。第三篇介紹深度學習的主要方法，包括前饋神經網路、卷積神經網路、循環神經網路、序列到序列模型、預訓練語言模型、生成對抗網路等。書中每章介紹一兩種機器學習方法，詳細敘述各個方法的模型、策略和算法。從具體例子入手，由淺入深，幫助讀者直觀地理解基本思路，同時從理論角度出發，給出嚴格的數學推導，嚴謹詳實，讓讀者更好地掌握基本原理和概念。目的是使讀者能學會和使用這些機器學習的基本技術。為滿足讀者進一步學習的需要，書中還對各個方法的要點進行了總結，給出了一些習題，並列出了主要參考文獻。 《機器學習方法》是機器學習及相關課程的教學參考書，適合人工智慧、數據挖掘等專業的本科生、研究生使用，也供計算機各個領域的專業研發人員參考。
圖書目錄
第1篇 監 督 學 習
第1章 機器學習及監督學習概論 3
11機器學習 3
12機器學習的分類 5
121基本分類 5
122按模型分類 10
123按算法分類 11
124按技巧分類 12
13機器學習方法三要素 13
131模型 13
132策略 14
133算法 16
14模型評估與模型選擇 17
141訓練誤差與測試誤差 17
142過擬合與模型選擇 18
15正則化與交叉驗證 20
151正則化 20
152交叉驗證 20
16泛化能力 21
161泛化誤差 21
162泛化誤差上界 22
17生成模型與判別模型 24
18監督學習套用 24
181分類問題 24
182標註問題 26
183回歸問題 27
本章概要 28
繼續閱讀 29
習題 29
參考文獻 29
VIII機器學習方法
第 2章感知機 30
21感知機模型 30
22感知機學習策略 31
221數據集的線性可分性 31
222感知機學習策略 31
23感知機學習算法 32
231感知機學習算法的原始形式 33
232算法的收斂性 35
233感知機學習算法的對偶形式 37
本章概要 39
繼續閱讀 40
習題 40
參考文獻 40
第 3章 k近鄰法 41
31 k近鄰算法 41
32 k近鄰模型 42
321模型 42
322距離度量 42
323 k值的選擇 43
324分類決策規則 44
33 k近鄰法的實現：kd樹 44
331構造 kd樹 45
332搜尋 kd樹 46
本章概要 48
繼續閱讀 48
習題 48
參考文獻 49
第 4章樸素貝葉斯法 50
41樸素貝葉斯法的學習與分類 50
411基本方法 50
412後驗機率化的含義 51
42樸素貝葉斯法的參數估計 52
421極大似然估計 52
422學習與分類算法 53
423貝葉斯估計 54
本章概要 55
繼續閱讀 56
目錄 IX
習題 56
參考文獻 56
第 5章決策樹 57
51決策樹模型與學習 57
511決策樹模型 57
512決策樹與 if-then規則 58
513決策樹與條件機率分布 58
514決策樹學習 58
52特徵選擇 60
521特徵選擇問題 60
522信息增益 61
523信息增益比 64
53決策樹的生成 64
531 ID3算法 65
532 C45的生成算法 66
54決策樹的剪枝 66
55 CART算法 68
551 CART生成 69
552 CART剪枝 72
本章概要 74
繼續閱讀 75
習題 75
參考文獻 75
第 6章邏輯斯諦回歸與熵模型 77
61邏輯斯諦回歸模型 77
611邏輯斯諦分布 77
612二項邏輯斯諦回歸模型 78
613模型參數估計 79
614多項邏輯斯諦回歸 79
62熵模型 80
621熵原理 80
622熵模型的定義 82
623熵模型的學習 83
624極大似然估計 86
63模型學習的化算法 87
631改進的疊代尺度法 87
632擬牛頓法 90
機器學習方法
本章概要 91
繼續閱讀 92
習題 92
參考文獻 93
第 7章支持向量機 94
71線性可分支持向量機與硬間隔化 94
711線性可分支持向量機 94
712函式間隔和幾何間隔 96
713間隔化 97
714學習的對偶算法 101
72線性支持向量機與軟間隔化 106
721線性支持向量機 106
722學習的對偶算法 107
723支持向量 110
724合頁損失函式 111
73非線性支持向量機與核函式 112
731核技巧 112
732正定核 115
733常用核函式 118
734非線性支持向量分類機 120
74序列小化算法 121
741兩個變數二次規劃的求解方法 122
742變數的選擇方法 124
743 SMO算法 126
本章概要 127
繼續閱讀 129
習題 129
參考文獻 129
第 8章 Boosting 131
81 AdaBoost算法 131
811 Boosting的基本思路 131
812 AdaBoost算法 132
813 AdaBoost的例子 134
82 AdaBoost算法的訓練誤差分析 135
83 AdaBoost算法的解釋 137
831前向分步算法 137
832前向分步算法與 AdaBoost 138
目錄 XI
84提升樹 140
841提升樹模型 140
842提升樹算法 140
843梯度提升 144
本章概要 145
繼續閱讀 146
習題 146
參考文獻 146
第 9章 EM算法及其推廣 148
91 EM算法的引入 148
911 EM算法 148
912 EM算法的導出 151
913 EM算法在無監督學習中的套用 153
92 EM算法的收斂性 153
93 EM算法在高斯混合模型學習中的套用 154
931高斯混合模型 155
932高斯混合模型參數估計的 EM算法 155
94 EM算法的推廣 158
941 F函式的極大-極大算法 158
942 GEM算法 160
本章概要 161
繼續閱讀 162
習題 162
參考文獻 162
第 10章隱馬爾可夫模型 163
101隱馬爾可夫模型的基本概念 163
1011隱馬爾可夫模型的定義 163
1012觀測序列的生成過程 166
1013隱馬爾可夫模型的 3個基本問題 166
102機率計算算法 166
1021直接計算法 166
1022前向算法 167
1023後向算法 169
1024一些機率與期望值的計算 170
103學習算法 172
1031監督學習方法 172
1032 Baum-Welch算法 172
XII機器學習方法
1033 Baum-Welch模型參數估計公式 174
104預測算法 175
1041近似算法 175
1042維特比算法 176
本章概要 179
繼續閱讀 179
習題 180
參考文獻 180
第 11章條件隨機場 181
111機率無向圖模型 181
1111模型定義 181
1112機率無向圖模型的因子分解 183
112條件隨機場的定義與形式 184
1121條件隨機場的定義 184
1122條件隨機場的參數化形式 185
1123條件隨機場的簡化形式 186
1124條件隨機場的矩陣形式 187
113條件隨機場的機率計算問題 189
1131前向-後向算法 189
1132機率計算 189
1133期望值的計算 190
114條件隨機場的學習算法 191
1141改進的疊代尺度法 191
1142擬牛頓法 194
115條件隨機場的預測算法 195
本章概要 197
繼續閱讀 198
習題 198
參考文獻 199
第 12章監督學習方法總結 200
第
2篇
無
監
督
學
習
無監學習
第 13章無監督學習概論 207
131無監督學習基本原理 207
132基本問題 208
133機器學習三要素 210
134無監督學習方法 210
目錄 XIII
本章概要 214
繼續閱讀 215
參考文獻 215
第 14章聚類方法 216
141聚類的基本概念 216
1411相似度或距離 216
1412類或簇 219
1413類與類之間的距離 220
142層次聚類 220
143 k均值聚類 222
1431模型 222
1432策略 223
1433算法 224
1434算法特性 225
本章概要 226
繼續閱讀 227
習題 227
參考文獻 227
第 15章奇異值分解 229
151奇異值分解的定義與性質 229
1511定義與定理 229
1512緊奇異值分解與截斷奇異值分解 233
1513幾何解釋 235
1514主要性質 237
152奇異值分解的計算 238
153奇異值分解與矩陣近似 241
1531弗羅貝尼烏斯範數 241
1532矩陣的近似 242
1533矩陣的外積展開式 245
本章概要 247
繼續閱讀 248
習題 248
參考文獻 249
第 16章主成分分析 250
161總體主成分分析 250
1611基本想法 250
XIV機器學習方法
1612定義和導出 252
1613主要性質 253
1614主成分的個數 257
1615規範化變數的總體主成分 260
162樣本主成分分析 260
1621樣本主成分的定義和性質 261
1622相關矩陣的特徵值分解算法 263
1623數據矩陣的奇異值分解算法 265
本章概要 267
繼續閱讀 269
習題 269
參考文獻 269
第 17章潛在語義分析 271
171單詞向量空間與話題向量空間 271
1711單詞向量空間 271
1712話題向量空間 273
172潛在語義分析算法 276
1721矩陣奇異值分解算法 276
1722例子 278
173非負矩陣分解算法 279
1731非負矩陣分解 279
1732潛在語義分析模型 280
1733非負矩陣分解的形式化 280
1734算法 281
本章概要 283
繼續閱讀 284
習題 284
參考文獻 285
第 18章機率潛在語義分析 286
181機率潛在語義分析模型 286
1811基本想法 286
1812生成模型 287
1813共現模型 288
1814模型性質 289
182機率潛在語義分析的算法 291
本章概要 293
繼續閱讀 294
目錄 XV
習題 294
參考文獻 295
第 19章馬爾可夫鏈蒙特卡羅法 296
191蒙特卡羅法 296
1911隨機抽樣 296
1912數學期望估計 297
1913積分計算 298
192馬爾可夫鏈 299
1921基本定義 299
1922離散狀態馬爾可夫鏈 300
1923連續狀態馬爾可夫鏈 305
1924馬爾可夫鏈的性質 306
193馬爾可夫鏈蒙特卡羅法 310
1931基本想法 310
1932基本步驟 311
1933馬爾可夫鏈蒙特卡羅法與統計學習 311
194 Metropolis-Hastings算法 312
1941基本原理 312
1942 Metropolis-Hastings算法 315
1943單分量 Metropolis-Hastings算法 315
195吉布斯抽樣 316
1951基本原理 316
1952吉布斯抽樣算法 318
1953抽樣計算 319
本章概要 320
繼續閱讀 321
習題 321
參考文獻 322
第 20章潛在狄利克雷分配 324
201狄利克雷分布 324
2011分布定義 324
2012共軛先驗 327
202潛在狄利克雷分配模型 328
2021基本想法 328
2022模型定義 329
2023機率圖模型 331
2024隨機變數序列的可交換性 332
XVI機器學習方法
2025機率公式 332
203 LDA的吉布斯抽樣算法 333
2031基本想法 333
2032算法的主要部分 334
2033算法的後處理 336
2034算法 337
204 LDA的變分 EM算法 338
2041變分推理 338
2042變分 EM算法 339
2043算法推導 340
2044算法總結 346
本章概要 346
繼續閱讀 348
習題 348
參考文獻 348
第 21章 PageRank算法 349
211 PageRank的定義 349
2111基本想法 349
2112有向圖和隨機遊走模型 350
2113 PageRank的基本定義 352
2114 PageRank的一般定義 354
212 PageRank的計算 355
2121疊代算法 355
2122冪法 357
2123代數算法 361
本章概要 362
繼續閱讀 363
習題 363
參考文獻 364
第 22章無監督學習方法總結 365
221無監督學習方法的關係和特點 365
2211各種方法之間的關係 365
2212無監督學習方法 366
2213基礎機器學習方法 366
222話題模型之間的關係和特點 367
參考文獻 368
目錄 XVII
第
3篇
深
度
學
習
第 23章前饋神經網路 371
231前饋神經網路的模型 371
2311前饋神經網路定義 372
2312前饋神經網路的例子 381
2313前饋神經網路的表示能力 386
232前饋神經網路的學習算法 389
2321前饋神經網路學習 389
2322前饋神經網路學習的最佳化算法 391
2323反向傳播算法 393
2324在計算圖上的實現 397
2325算法的實現技巧 401
233前饋神經網路學習的正則化 406
2331深度學習中的正則化 406
2332早停法 406
2333暫退法 408
本章概要 410
繼續閱讀 413
習題 413
參考文獻 414
第 24章卷積神經網路 415
241卷積神經網路的模型 415
2411背景 415
2412卷積 416
2413匯聚 424
2414卷積神經網路 427
2415卷積神經網路性質 430
242卷積神經網路的學習算法 432
2421卷積導數 432
2422反向傳播算法 433
243圖像分類中的套用 436
2431 AlexNet 436
2432殘差網路 437
本章概要 441
繼續閱讀 443
習題 443
參考文獻 445
XVIII機器學習方法
第 25章循環神經網路 447
251簡單循環神經網路 447
2511模型 447
2512學習算法 450
252常用循環神經網路 454
2521長短期記憶網路 454
2522門控循環單元網路 457
2523深度循環神經網路 458
2524雙向循環神經網路 459
253自然語言生成中的套用 460
2531詞向量 460
2532語言模型與語言生成 463
本章概要 465
繼續閱讀 467
習題 467
參考文獻 468
第 26章序列到序列模型 469
261序列到序列基本模型 469
2611序列到序列學習 469
2612基本模型 471
262 RNN Search模型 472
2621注意力 472
2622模型定義 474
2623模型特點 475
263 Transformer模型 475
2631模型架構 476
2632模型特點 482
本章概要 483
繼續閱讀 486
習題 486
參考文獻 486
第 27章預訓練語言模型 488
271 GPT模型 488
2711預訓練語言模型 488
2712模型和學習 490
272 BERT模型 493
2721去噪自動編碼器 493
2722模型和學習 495
目錄 XIX
2723模型特點 499
本章概要 500
繼續閱讀 502
習題 502
參考文獻 502
第 28章生成對抗網路 504
281 GAN基本模型 504
2811模型 504
2812學習算法 506
2813理論分析 507
282圖像生成中的套用 508
2821轉置卷積 509
2822 DCGAN 511
本章概要 513
繼續閱讀 514
習題 514
參考文獻 515
第 29章深度學習方法總結 516
291深度學習的模型 516
292深度學習的方法 518
293深度學習的最佳化算法 520
294深度學習的優缺點 522
參考文獻 523
附錄 A梯度下降法 524
附錄 B牛頓法和擬牛頓法 526
附錄 C拉格朗日對偶性 531
附錄 D矩陣的基本子空間 534
附錄 E KL散度的定義和狄利克雷分布的性質 537
附錄 F軟化函式的偏導數和交叉熵損失函式的偏導數 539
索引 541
目錄
第1篇 監 督 學 習
第1章 機器學習及監督學習概論 3
11機器學習 3
12機器學習的分類 5
121基本分類 5
122按模型分類 10
123按算法分類 11
124按技巧分類 12
13機器學習方法三要素 13
131模型 13
132策略 14
133算法 16
14模型評估與模型選擇 17
141訓練誤差與測試誤差 17
142過擬合與模型選擇 18
15正則化與交叉驗證 20
151正則化 20
152交叉驗證 20
16泛化能力 21
161泛化誤差 21
162泛化誤差上界 22
17生成模型與判別模型 24
18監督學習套用 24
181分類問題 24
182標註問題 26
183回歸問題 27
本章概要 28
繼續閱讀 29
習題 29
參考文獻 29
VIII機器學習方法
第 2章感知機 30
21感知機模型 30
22感知機學習策略 31
221數據集的線性可分性 31
222感知機學習策略 31
23感知機學習算法 32
231感知機學習算法的原始形式 33
232算法的收斂性 35
233感知機學習算法的對偶形式 37
本章概要 39
繼續閱讀 40
習題 40
參考文獻 40
第 3章 k近鄰法 41
31 k近鄰算法 41
32 k近鄰模型 42
321模型 42
322距離度量 42
323 k值的選擇 43
324分類決策規則 44
33 k近鄰法的實現：kd樹 44
331構造 kd樹 45
332搜尋 kd樹 46
本章概要 48
繼續閱讀 48
習題 48
參考文獻 49
第 4章樸素貝葉斯法 50
41樸素貝葉斯法的學習與分類 50
411基本方法 50
412後驗機率化的含義 51
42樸素貝葉斯法的參數估計 52
421極大似然估計 52
422學習與分類算法 53
423貝葉斯估計 54
本章概要 55
繼續閱讀 56
目錄 IX
習題 56
參考文獻 56
第 5章決策樹 57
51決策樹模型與學習 57
511決策樹模型 57
512決策樹與 if-then規則 58
513決策樹與條件機率分布 58
514決策樹學習 58
52特徵選擇 60
521特徵選擇問題 60
522信息增益 61
523信息增益比 64
53決策樹的生成 64
531 ID3算法 65
532 C45的生成算法 66
54決策樹的剪枝 66
55 CART算法 68
551 CART生成 69
552 CART剪枝 72
本章概要 74
繼續閱讀 75
習題 75
參考文獻 75
第 6章邏輯斯諦回歸與熵模型 77
61邏輯斯諦回歸模型 77
611邏輯斯諦分布 77
612二項邏輯斯諦回歸模型 78
613模型參數估計 79
614多項邏輯斯諦回歸 79
62熵模型 80
621熵原理 80
622熵模型的定義 82
623熵模型的學習 83
624極大似然估計 86
63模型學習的化算法 87
631改進的疊代尺度法 87
632擬牛頓法 90
機器學習方法
本章概要 91
繼續閱讀 92
習題 92
參考文獻 93
第 7章支持向量機 94
71線性可分支持向量機與硬間隔化 94
711線性可分支持向量機 94
712函式間隔和幾何間隔 96
713間隔化 97
714學習的對偶算法 101
72線性支持向量機與軟間隔化 106
721線性支持向量機 106
722學習的對偶算法 107
723支持向量 110
724合頁損失函式 111
73非線性支持向量機與核函式 112
731核技巧 112
732正定核 115
733常用核函式 118
734非線性支持向量分類機 120
74序列小化算法 121
741兩個變數二次規劃的求解方法 122
742變數的選擇方法 124
743 SMO算法 126
本章概要 127
繼續閱讀 129
習題 129
參考文獻 129
第 8章 Boosting 131
81 AdaBoost算法 131
811 Boosting的基本思路 131
812 AdaBoost算法 132
813 AdaBoost的例子 134
82 AdaBoost算法的訓練誤差分析 135
83 AdaBoost算法的解釋 137
831前向分步算法 137
832前向分步算法與 AdaBoost 138
目錄 XI
84提升樹 140
841提升樹模型 140
842提升樹算法 140
843梯度提升 144
本章概要 145
繼續閱讀 146
習題 146
參考文獻 146
第 9章 EM算法及其推廣 148
91 EM算法的引入 148
911 EM算法 148
912 EM算法的導出 151
913 EM算法在無監督學習中的套用 153
92 EM算法的收斂性 153
93 EM算法在高斯混合模型學習中的套用 154
931高斯混合模型 155
932高斯混合模型參數估計的 EM算法 155
94 EM算法的推廣 158
941 F函式的極大-極大算法 158
942 GEM算法 160
本章概要 161
繼續閱讀 162
習題 162
參考文獻 162
第 10章隱馬爾可夫模型 163
101隱馬爾可夫模型的基本概念 163
1011隱馬爾可夫模型的定義 163
1012觀測序列的生成過程 166
1013隱馬爾可夫模型的 3個基本問題 166
102機率計算算法 166
1021直接計算法 166
1022前向算法 167
1023後向算法 169
1024一些機率與期望值的計算 170
103學習算法 172
1031監督學習方法 172
1032 Baum-Welch算法 172
XII機器學習方法
1033 Baum-Welch模型參數估計公式 174
104預測算法 175
1041近似算法 175
1042維特比算法 176
本章概要 179
繼續閱讀 179
習題 180
參考文獻 180
第 11章條件隨機場 181
111機率無向圖模型 181
1111模型定義 181
1112機率無向圖模型的因子分解 183
112條件隨機場的定義與形式 184
1121條件隨機場的定義 184
1122條件隨機場的參數化形式 185
1123條件隨機場的簡化形式 186
1124條件隨機場的矩陣形式 187
113條件隨機場的機率計算問題 189
1131前向-後向算法 189
1132機率計算 189
1133期望值的計算 190
114條件隨機場的學習算法 191
1141改進的疊代尺度法 191
1142擬牛頓法 194
115條件隨機場的預測算法 195
本章概要 197
繼續閱讀 198
習題 198
參考文獻 199
第 12章監督學習方法總結 200
第
2篇
無
監
督
學
習
無監學習
第 13章無監督學習概論 207
131無監督學習基本原理 207
132基本問題 208
133機器學習三要素 210
134無監督學習方法 210
目錄 XIII
本章概要 214
繼續閱讀 215
參考文獻 215
第 14章聚類方法 216
141聚類的基本概念 216
1411相似度或距離 216
1412類或簇 219
1413類與類之間的距離 220
142層次聚類 220
143 k均值聚類 222
1431模型 222
1432策略 223
1433算法 224
1434算法特性 225
本章概要 226
繼續閱讀 227
習題 227
參考文獻 227
第 15章奇異值分解 229
151奇異值分解的定義與性質 229
1511定義與定理 229
1512緊奇異值分解與截斷奇異值分解 233
1513幾何解釋 235
1514主要性質 237
152奇異值分解的計算 238
153奇異值分解與矩陣近似 241
1531弗羅貝尼烏斯範數 241
1532矩陣的近似 242
1533矩陣的外積展開式 245
本章概要 247
繼續閱讀 248
習題 248
參考文獻 249
第 16章主成分分析 250
161總體主成分分析 250
1611基本想法 250
XIV機器學習方法
1612定義和導出 252
1613主要性質 253
1614主成分的個數 257
1615規範化變數的總體主成分 260
162樣本主成分分析 260
1621樣本主成分的定義和性質 261
1622相關矩陣的特徵值分解算法 263
1623數據矩陣的奇異值分解算法 265
本章概要 267
繼續閱讀 269
習題 269
參考文獻 269
第 17章潛在語義分析 271
171單詞向量空間與話題向量空間 271
1711單詞向量空間 271
1712話題向量空間 273
172潛在語義分析算法 276
1721矩陣奇異值分解算法 276
1722例子 278
173非負矩陣分解算法 279
1731非負矩陣分解 279
1732潛在語義分析模型 280
1733非負矩陣分解的形式化 280
1734算法 281
本章概要 283
繼續閱讀 284
習題 284
參考文獻 285
第 18章機率潛在語義分析 286
181機率潛在語義分析模型 286
1811基本想法 286
1812生成模型 287
1813共現模型 288
1814模型性質 289
182機率潛在語義分析的算法 291
本章概要 293
繼續閱讀 294
目錄 XV
習題 294
參考文獻 295
第 19章馬爾可夫鏈蒙特卡羅法 296
191蒙特卡羅法 296
1911隨機抽樣 296
1912數學期望估計 297
1913積分計算 298
192馬爾可夫鏈 299
1921基本定義 299
1922離散狀態馬爾可夫鏈 300
1923連續狀態馬爾可夫鏈 305
1924馬爾可夫鏈的性質 306
193馬爾可夫鏈蒙特卡羅法 310
1931基本想法 310
1932基本步驟 311
1933馬爾可夫鏈蒙特卡羅法與統計學習 311
194 Metropolis-Hastings算法 312
1941基本原理 312
1942 Metropolis-Hastings算法 315
1943單分量 Metropolis-Hastings算法 315
195吉布斯抽樣 316
1951基本原理 316
1952吉布斯抽樣算法 318
1953抽樣計算 319
本章概要 320
繼續閱讀 321
習題 321
參考文獻 322
第 20章潛在狄利克雷分配 324
201狄利克雷分布 324
2011分布定義 324
2012共軛先驗 327
202潛在狄利克雷分配模型 328
2021基本想法 328
2022模型定義 329
2023機率圖模型 331
2024隨機變數序列的可交換性 332
XVI機器學習方法
2025機率公式 332
203 LDA的吉布斯抽樣算法 333
2031基本想法 333
2032算法的主要部分 334
2033算法的後處理 336
2034算法 337
204 LDA的變分 EM算法 338
2041變分推理 338
2042變分 EM算法 339
2043算法推導 340
2044算法總結 346
本章概要 346
繼續閱讀 348
習題 348
參考文獻 348
第 21章 PageRank算法 349
211 PageRank的定義 349
2111基本想法 349
2112有向圖和隨機遊走模型 350
2113 PageRank的基本定義 352
2114 PageRank的一般定義 354
212 PageRank的計算 355
2121疊代算法 355
2122冪法 357
2123代數算法 361
本章概要 362
繼續閱讀 363
習題 363
參考文獻 364
第 22章無監督學習方法總結 365
221無監督學習方法的關係和特點 365
2211各種方法之間的關係 365
2212無監督學習方法 366
2213基礎機器學習方法 366
222話題模型之間的關係和特點 367
參考文獻 368
目錄 XVII
第
3篇
深
度
學
習
第 23章前饋神經網路 371
231前饋神經網路的模型 371
2311前饋神經網路定義 372
2312前饋神經網路的例子 381
2313前饋神經網路的表示能力 386
232前饋神經網路的學習算法 389
2321前饋神經網路學習 389
2322前饋神經網路學習的最佳化算法 391
2323反向傳播算法 393
2324在計算圖上的實現 397
2325算法的實現技巧 401
233前饋神經網路學習的正則化 406
2331深度學習中的正則化 406
2332早停法 406
2333暫退法 408
本章概要 410
繼續閱讀 413
習題 413
參考文獻 414
第 24章卷積神經網路 415
241卷積神經網路的模型 415
2411背景 415
2412卷積 416
2413匯聚 424
2414卷積神經網路 427
2415卷積神經網路性質 430
242卷積神經網路的學習算法 432
2421卷積導數 432
2422反向傳播算法 433
243圖像分類中的套用 436
2431 AlexNet 436
2432殘差網路 437
本章概要 441
繼續閱讀 443
習題 443
參考文獻 445
XVIII機器學習方法
第 25章循環神經網路 447
251簡單循環神經網路 447
2511模型 447
2512學習算法 450
252常用循環神經網路 454
2521長短期記憶網路 454
2522門控循環單元網路 457
2523深度循環神經網路 458
2524雙向循環神經網路 459
253自然語言生成中的套用 460
2531詞向量 460
2532語言模型與語言生成 463
本章概要 465
繼續閱讀 467
習題 467
參考文獻 468
第 26章序列到序列模型 469
261序列到序列基本模型 469
2611序列到序列學習 469
2612基本模型 471
262 RNN Search模型 472
2621注意力 472
2622模型定義 474
2623模型特點 475
263 Transformer模型 475
2631模型架構 476
2632模型特點 482
本章概要 483
繼續閱讀 486
習題 486
參考文獻 486
第 27章預訓練語言模型 488
271 GPT模型 488
2711預訓練語言模型 488
2712模型和學習 490
272 BERT模型 493
2721去噪自動編碼器 493
2722模型和學習 495
目錄 XIX
2723模型特點 499
本章概要 500
繼續閱讀 502
習題 502
參考文獻 502
第 28章生成對抗網路 504
281 GAN基本模型 504
2811模型 504
2812學習算法 506
2813理論分析 507
282圖像生成中的套用 508
2821轉置卷積 509
2822 DCGAN 511
本章概要 513
繼續閱讀 514
習題 514
參考文獻 515
第 29章深度學習方法總結 516
291深度學習的模型 516
292深度學習的方法 518
293深度學習的最佳化算法 520
294深度學習的優缺點 522
參考文獻 523
附錄 A梯度下降法 524
附錄 B牛頓法和擬牛頓法 526
附錄 C拉格朗日對偶性 531
附錄 D矩陣的基本子空間 534
附錄 E KL散度的定義和狄利克雷分布的性質 537
附錄 F軟化函式的偏導數和交叉熵損失函式的偏導數 539
索引 541
