《機器學習基礎》是2019年機械工業出版社出版的圖書，作者是梅爾亞·莫里，本書從機率近似正確（PAC）理論出發探討機器學習的基礎理論與典型算法，包括PAC學習框架、VC-維、支持向量機、核方法、線上學習、多分類、排序、回歸、降維、強化學習等豐富的內容。
基本介紹
- 中文名：機器學習基礎
- 作者：梅爾亞·莫里
- 出版社：機械工業出版社
- ISBN：9787111622185
內容簡介,圖書目錄,作者簡介,
內容簡介
本書從機率近似正確（PAC）理論出發探討機器學習的基礎理論與典型算法，包括PAC學習框架、VC-維、支持向量機、核方法、線上學習、多分類、排序、回歸、降維、強化學習等豐富的內容。此外，附錄部分簡要回顧了與機器學習密切相關的機率論、凸最佳化、矩陣以及範數等必要的預備知識。
本書重在介紹典型算法的理論支撐並指出算法在實際套用中的關鍵點，注重理論細節與證明過程，可作為高等院校機器學習、統計學等課程的教材，或作為相關領域研究人員的參考讀物。
圖書目錄
譯者序
前言
第1章 引言1
1.1 套用與問題1
1.2 定義與術語2
1.3 交叉驗證4
1.4 學習情境5
1.5 本書概覽6
第2章 PAC學習框架8
2.1 PAC學習模型8
2.2 對有限假設集的學習保證——一致的情況12
2.3 對有限假設集的學習保證——不一致的情況16
2.4 泛化性18
2.4.1 確定性與隨機性情境18
2.4.2 貝葉斯誤差與噪聲19
2.4.3 估計誤差與近似誤差19
2.4.4 模型選擇20
2.5 文獻評註21
2.6 習題22
第3章 Rademacher複雜度和VC-維25
3.1 Rademacher複雜度25
3.2 生長函式29
3.3 VC-維31
3.4 下界36
3.5 文獻評註41
3.6 習題42
第4章 支持向量機47
4.1 線性分類47
4.2 可分情況下的支持向量機48
4.2.1 原始最佳化問題48
4.2.2 支持向量49
4.2.3 對偶最佳化問題50
4.2.4 留一法51
4.3 不可分情況下的支持向量機52
4.3.1 原始最佳化問題53
4.3.2 支持向量54
4.3.3 對偶最佳化問題55
4.4 間隔理論56
4.5 文獻評註62
4.6 習題62
第5章 核方法65
5.1 引言65
5.2 正定對稱核67
5.2.1 定義67
5.2.2 再生核希爾伯特空間69
5.2.3 性質70
5.3 基於核的算法73
5.3.1 具有PDS核的SVM73
5.3.2 表示定理74
5.3.3 學習保證75
5.4 負定對稱核76
5.5 序列核78
5.5.1 加權轉換器79
5.5.2 有理核82
5.6 文獻評註85
5.7 習題85
第6章 boosting89
6.1 引言89
6.2 AdaBoost算法90
6.2.1 經驗誤差的界92
6.2.2 與坐標下降的關係93
6.2.3 與邏輯回歸的關係94
6.2.4 實踐中的標準使用方式95
6.3 理論結果95
6.3.1 基於VC-維的分析96
6.3.2 基於間隔的分析96
6.3.3 間隔化100
6.3.4 博弈論解釋101
6.4 討論103
6.5 文獻評註104
6.6 習題105
第7章 線上學習108
7.1 引言108
7.2 有專家建議的預測109
7.2.1 錯誤界和折半算法109
7.2.2 加權多數算法110
7.2.3 隨機加權多數算法111
7.2.4 指數加權平均算法114
7.3 線性分類117
7.3.1 感知機算法117
7.3.2 Winnow算法122
7.4 線上到批處理的轉換124
7.5 與博弈論的聯繫127
7.6 文獻評註127
7.7 習題128
第8章 多分類133
8.1 多分類問題133
8.2 泛化界134
8.3 直接型多分類算法139
8.3.1 多分類SVM139
8.3.2 多分類boosting算法140
8.3.3 決策樹141
8.4 類別分解型多分類算法144
8.4.1 一對多144
8.4.2 一對一145
8.4.3 糾錯編碼146
8.5 結構化預測算法148
8.6 文獻評註149
8.7 習題150
第9章 排序152
9.1 排序問題152
9.2 泛化界153
9.3 使用SVM進行排序155
9.4 RankBoost156
9.4.1 經驗誤差界158
9.4.2 與坐標下降的關係159
9.4.3 排序問題集成算法的間隔界160
9.5 二部排序161
9.5.1 二部排序中的boosting算法162
9.5.2 ROC曲線下面積164
9.6 基於偏好的情境165
9.6.1 兩階段排序問題166
9.6.2 確定性算法167
9.6.3 隨機性算法168
9.6.4 關於其他損失函式的擴展168
9.7 討論169
9.8 文獻評註170
9.9 習題171
第10章 回歸172
10.1 回歸問題172
10.2 泛化界173
10.2.1 有限假設集173
10.2.2 Rademacher複雜度界174
10.2.3 偽維度界175
10.3 回歸算法177
10.3.1 線性回歸178
10.3.2 核嶺回歸179
10.3.3 支持向量回歸182
10.3.4 Lasso186
10.3.5 組範數回歸算法188
10.3.6 線上回歸算法189
10.4 文獻評註190
10.5 習題190
第11章 算法穩定性193
11.1 定義193
11.2 基於穩定性的泛化保證194
11.3 基於核的正則化算法的穩定性196
11.3.1 套用於回歸算法：SVR和KRR198
11.3.2 套用於分類算法：SVM200
11.3.3 討論200
11.4 文獻評述201
11.5 習題201
第12章 降維203
12.1 主成分分析204
12.2 核主成分分析205
12.3 KPCA和流形學習206
12.3.1 等距映射206
12.3.2 拉普拉斯特徵映射207
12.3.3 局部線性嵌入207
12.4 Johnson-Lindenstrauss引理208
12.5 文獻評註210
12.6 習題210
第13章 學習自動機和語言212
13.1 引言212
13.2 有限自動機213
13.3 高效精確學習214
13.3.1 被動學習214
13.3.2 通過查詢學習215
13.3.3 通過查詢學習自動機216
13.4 極限下的識別220
13.5 文獻評註224
13.6 習題225
第14章 強化學習227
14.1 學習情境227
14.2 馬爾可夫決策過程模型228
14.3 策略229
14.3.1 定義229
14.3.2 策略值229
14.3.3 策略評估230
14.3.4 策略230
14.4 規划算法231
14.4.1 值疊代231
14.4.2 策略疊代233
14.4.3 線性規劃235
14.5 學習算法235
14.5.1 隨機逼近236
14.5.2 TD（0）算法239
14.5.3 Q-學習算法240
14.5.4 SARSA242
14.5.5 TD（λ）算法242
14.5.6 大狀態空間243
14.6 文獻評註244
結束語245
附錄A 線性代數回顧246
附錄B 凸最佳化251
附錄C 機率論回顧257
附錄D 集中不等式264
附錄E 符號273
索引274
參考文獻
參考文獻為網路資源，請訪問華章網站www.hzbook.com下載。——編輯注
作者簡介
梅爾亞·莫里（Mehryar Mohri）
紐約大學庫蘭特數學科學研究所計算機科學與數學教授，同時任谷歌研究院的研究顧問。主要研究方向包括機器學習理論和算法、語音處理、自動機理論和算法、自然語言處理、計算生物學等。曾在AT&T實驗室研究部擔任部門主管和技術負責人。他是多個核心加權自動機和有限狀態機算法的作者，在將加權有限狀態機套用於語音識別和自然語言處理方面做了開創性的工作。
阿夫欣·羅斯塔米扎達爾（Afshin Rostamizadeh）
谷歌研究院高級研究員。他擁有紐約大學計算機科學博士學位，加州大學伯克利分校電子工程與計算機學士學位。
阿米特·塔爾沃卡爾 （Ameet Talwalkar）
卡內基·梅隆大學機器學習系助理教授，同時還是AI初創企業Determined AI的聯合創始人和首席科學家。他擁有紐約大學計算機科學-機器學習博士學位，還曾是加州大學伯克利分校電子工程與計算機系博士後研究員。
