《機器學習中的統計思維（Python實現）》是2023年9月1日清華大學出版社出版的圖書，作者：董平。
基本介紹
- 中文名：機器學習中的統計思維（Python實現）
- 作者：董平
- 出版時間：2023年9月1日
- 出版社：清華大學出版社
- ISBN：9787302634010
- 定價：99 元
- 印次：1-1
- 印刷日期：2023.09.19
內容簡介,圖書目錄,
內容簡介
機器學習是人工智慧的核心，而統計思維則是機器學習方法的核心：從隨機性中尋找規律性。例如，利用損失最小化思想制定學習策略，採用機率**化思想估計模型參數，利用方差對不確定性的捕捉構造 k維樹，採用貝葉斯公式構建分類決策模型，等等。只有樹立正確的統計思維，才能準確高效地運用機器學習方法開展數據處理與分析。本書以統計思維的視角，揭示監督學習中回歸和分類模型的核心思想，幫助讀者構建理論體系。具體模型包括線性回歸模型、K近鄰模型、貝葉斯推斷、邏輯回歸模型、**熵模型、決策樹模型、感知機模型、支持向量機、EM算法和提升方法。
本書共 12章，緒論介紹貫穿本書的兩大思維模式，以及關於全書的閱讀指南；第 1章介紹一些基本術語，並給出監督學習的流程；第 2章介紹關於回歸問題的機器學習方法；第 3～9章介紹關於分類問題的機器學習方法；第 10章介紹可套用於具有隱變數模型的參數學習算法——EM算法；第 11章簡單介紹集成學習，並重點闡述其中的提升（Boosting）
方法。為滿足個性化學習需求的不同需求，本書從核心思想、方法流程及實際案例套用等不同角度，詳細描述各種方法的原理和實用價值，非常適合數據科學、機器學習專業的本科生和研究生學習，也可供相關從業者參考。
圖書目錄
目錄
緒論..................................................................................................................1
0.1本書講什麼，初衷是什麼...................................................................... 1
0.2貫穿本書的兩大思維模式...................................................................... 3
0.2.1提問的思維方式 ........................................................................ 3
0.2.2發散的思維方式 ........................................................................ 4
0.3這本書決定它還想要這樣...................................................................... 5
0.3.1第一性原理 ............................................................................... 5
0.3.2奧卡姆剃刀原理 ........................................................................ 7
0.4如何使用本書 ...................................................................................... 8
第 1章步入監督學習之旅 .............................................................................11
1.1機器學習從數據開始 .......................................................................... 11
1.2監督學習是什麼 ................................................................................. 14
1.2.1基本術語 ................................................................................ 16
1.2.2學習過程如同一場科學推理...................................................... 17
1.3如何評價模型的好壞 .......................................................................... 21
1.3.1評價模型的量化指標................................................................ 21
1.3.2擬合能力 ................................................................................ 24
1.3.3泛化能力 ................................................................................ 24
1.4損失最小化思想 ................................................................................. 25
1.5怎樣理解模型的性能：方差-偏差折中思想 ........................................... 27
1.6如何選擇最優模型.............................................................................. 28
1.6.1正則化：對模型複雜程度加以懲罰............................................ 28
1.6.2交叉驗證：樣本的多次重複利用 ............................................... 30
1.7本章小結 ........................................................................................... 31
1.8習題.................................................................................................. 31
第 2章線性回歸模型 ....................................................................................33
2.1探尋線性回歸模型.............................................................................. 33
2.1.1諾貝爾獎中的線性回歸模型...................................................... 33
2.1.2回歸模型的誕生 ...................................................................... 34
2.1.3線性回歸模型結構 ................................................................... 38
2.2最小二乘法........................................................................................ 39
2.2.1回歸模型用哪種損失：平方損失 ............................................... 40
2.2.2如何估計模型參數：最小二乘法 ............................................... 41
2.3線性回歸模型的預測 .......................................................................... 44
2.3.1一元線性回歸模型的預測 ......................................................... 44
2.3.2多元線性回歸模型的預測 ......................................................... 48
2.4拓展部分：嶺回歸與套索回歸 ............................................................. 49
2.4.1嶺回歸.................................................................................... 50
2.4.2套索回歸 ................................................................................ 51
2.5案例分析——共享腳踏車數據集 ............................................................. 53
2.6本章小結 ........................................................................................... 56
2.7習題.................................................................................................. 57
第 3章 K近鄰模型 ......................................................................................59
3.1鄰友思想 ........................................................................................... 59
3.2 K近鄰算法....................................................................................... 60
3.2.1聚合思想 ................................................................................ 60
3.2.2 K近鄰模型的具體算法............................................................ 61
3.2.3 K近鄰算法的三要素 ............................................................... 63
3.2.4 K近鄰算法的可視化 ............................................................... 67
3.3最近鄰分類器的誤差率 ....................................................................... 67
3.4 k維樹............................................................................................... 70
3.4.1 k維樹的構建 .......................................................................... 70
3.4.2 k維樹的搜尋 .......................................................................... 73
3.5拓展部分：距離度量學習的 K近鄰分類器 .......................................... 76
3.6案例分析——鶯尾花數據集 ................................................................ 79
3.7本章小結 ........................................................................................... 83
3.8習題.................................................................................................. 83
第 4章貝葉斯推斷 .......................................................................................85
4.1貝葉斯思想........................................................................................ 85
4.1.1什麼是機率 ............................................................................. 86
4.1.2從機率到條件機率 ................................................................... 91
4.1.3貝葉斯定理 ............................................................................. 93
4.2貝葉斯分類器 .................................................................................... 97
4.2.1貝葉斯分類 ............................................................................. 97
4.2.2樸素貝葉斯分類 ...................................................................... 98
4.3如何訓練貝葉斯分類器 ......................................................................103
4.3.1極大似然估計：機率最大化思想 ..............................................104
4.3.2貝葉斯估計：貝葉斯思想 ........................................................111
4.4常用的樸素貝葉斯分類器...................................................................115
4.4.1離散屬性變數下的樸素貝葉斯分類器 .......................................115
4.4.2連續特徵變數下的樸素貝葉斯分類器 .......................................115
4.5拓展部分 ..........................................................................................116
4.5.1半樸素貝葉斯.........................................................................116
4.5.2貝葉斯網路 ............................................................................119
4.6案例分析——蘑菇數據集 ...................................................................122
4.7本章小結 ..........................................................................................124
4.8習題.................................................................................................124
4.9閱讀時間：貝葉斯思想的起源 ............................................................125
第 5章邏輯回歸模型 .................................................................................. 131
5.1一切始於邏輯函式.............................................................................131
5.1.1邏輯函式 ...............................................................................131
5.1.2邏輯斯諦分布.........................................................................133
5.1.3邏輯回歸 ...............................................................................134
5.2邏輯回歸模型的學習 .........................................................................136
5.2.1加權最小二乘法 .....................................................................136
5.2.2極大似然法 ............................................................................139
5.3邏輯回歸模型的學習算法...................................................................141
5.3.1梯度下降法 ............................................................................141
5.3.2牛頓法...................................................................................143
5.4拓展部分 ..........................................................................................144
5.4.1拓展 1：多分類邏輯回歸模型 ..................................................144
5.4.2拓展 2：非線性邏輯回歸模型 ..................................................147
5.5案例分析——離職數據集 ...................................................................147
5.6本章小結 ..........................................................................................149
5.7習題.................................................................................................150
5.8閱讀時間：牛頓法是牛頓提出的嗎 .....................................................150
第 6章最大熵模型 ..................................................................................... 153
6.1問世間熵為何物 ................................................................................153
6.1.1熱力學熵 ...............................................................................153
6.1.2信息熵...................................................................................155
6.2最大熵思想.......................................................................................156
6.2.1離散隨機變數的分布...............................................................156
6.2.2連續隨機變數的分布...............................................................160
6.3最大熵模型的學習問題 ......................................................................163
6.3.1最大熵模型的定義 ..................................................................163
6.3.2最大熵模型的原始問題與對偶問題...........................................167
6.3.3最大熵模型的學習 ..................................................................169
6.4模型學習的最最佳化算法 ......................................................................173
6.4.1最速梯度下降法 .....................................................................177
6.4.2擬牛頓法：DFP算法和 BFGS算法 ........................................178
6.4.3改進的疊代尺度法 ..................................................................179
6.5案例分析——湯圓小例子 ...................................................................183
6.6本章小結 ..........................................................................................185
6.7習題.................................................................................................186
6.8閱讀時間：奇妙的對數 ......................................................................187
第 7章決策樹模型 ..................................................................................... 191
7.1決策樹中蘊含的基本思想...................................................................191
7.1.1什麼是決策樹.........................................................................191
7.1.2決策樹的基本思想 ..................................................................195
7.2決策樹的特徵選擇.............................................................................195
7.2.1錯分類誤差 ............................................................................195
7.2.2基於熵的信息增益和信息增益比 ..............................................196
7.2.3基尼不純度 ............................................................................199
7.2.4比較錯分類誤差、信息熵和基尼不純度 ....................................201
7.3決策樹的生成算法.............................................................................201
7.3.1 ID3算法................................................................................202
7.3.2 C4.5算法 ..............................................................................205
7.3.3 CART算法............................................................................205
7.4決策樹的剪枝過程.............................................................................211
7.4.1預剪枝...................................................................................211
7.4.2後剪枝...................................................................................213
7.5拓展部分：隨機森林 .........................................................................223
7.6案例分析——帕爾默企鵝數據集 .........................................................223
7.7本章小結 ..........................................................................................226
7.8習題.................................................................................................226
7.9閱讀時間：經濟學中的基尼指數.........................................................227
第 8章感知機模型 ..................................................................................... 231
8.1感知機制——從邏輯回歸到感知機 .....................................................231
8.2感知機的學習 ...................................................................................233
8.3感知機的最佳化算法.............................................................................234
8.3.1原始形式算法.........................................................................235
8.3.2對偶形式算法.........................................................................239
8.4案例分析——鶯尾花數據集 ...............................................................241
8.5本章小結 ..........................................................................................243
8.6習題.................................................................................................243
第 9章支持向量機 ..................................................................................... 245
9.1從感知機到支持向量機 ......................................................................245
9.2線性可分支持向量機 .........................................................................248
9.2.1線性可分支持向量機與最大間隔算法 .......................................248
9.2.2對偶問題與硬間隔算法 ...........................................................254
9.3線性支持向量機 ................................................................................258
9.3.1線性支持向量機的學習問題.....................................................259
9.3.2對偶問題與軟間隔算法 ...........................................................260
9.3.3線性支持向量機之合頁損失.....................................................263
9.4非線性支持向量機.............................................................................265
9.4.1核變換的根本——核函式 ........................................................266
9.4.2非線性可分支持向量機 ...........................................................277
9.4.3非線性支持向量機 ..................................................................278
9.5 SMO最佳化方法 .................................................................................279
9.5.1“失敗的”坐標下降法 ...........................................................279
9.5.2“成功的”SMO算法.............................................................280
9.6案例分析——電離層數據集 ...............................................................287
9.7本章小結 ..........................................................................................288
9.8習題.................................................................................................289
第 10章 EM算法 ...................................................................................... 291
10.1極大似然法與 EM算法 ...................................................................291
10.1.1具有缺失數據的豆花小例子..................................................291
10.1.2具有隱變數的硬幣盲盒例子..................................................295
10.2 EM算法的疊代過程........................................................................298
10.2.1 EM算法中的兩部曲 ............................................................298
10.2.2 EM算法的合理性 ...............................................................302
10.3 EM算法的套用 ..............................................................................305
10.3.1高斯混合模型......................................................................305
10.3.2隱馬爾可夫模型 ..................................................................309
10.4本章小結 ........................................................................................316
10.5習題 ...............................................................................................317
第 11章提升方法....................................................................................... 319
11.1提升方法（Boosting）是一種集成學習方法.......................................319
11.1.1什麼是集成學習 ..................................................................319
11.1.2強可學習與弱可學習............................................................321
11.2起步於 AdaBoost算法 ....................................................................323
11.2.1兩大核心：前向回歸和可加模型 ...........................................323
11.2.2 AdaBoost的前向分步算法...................................................324
11.2.3 AdaBoost分類算法 .............................................................326
11.2.4 AdaBoost分類算法的訓練誤差 ............................................333
11.3提升樹和 GBDT算法 .....................................................................339
11.3.1回歸提升樹 .........................................................................339
11.3.2 GDBT算法 ........................................................................342
11.4拓展部分：XGBoost算法................................................................344
11.5案例分析——波士頓房價數據集 .......................................................346
11.6本章小結 ........................................................................................347
11.7習題 ...............................................................................................348
參考文獻 ....................................................................................................... 349
