統計機器學習導論

《統計機器學習導論》是2018年機械工業出版社出版的圖書，作者是（日）杉山將。

基本介紹

• 書名：統計機器學習導論
• 作者：（日）杉山將
• ISBN：978-7-111-59679-0
• 出版社：機械工業出版社
• 出版時間：2018-05-08
• 裝幀：平裝
• 開本：16
• 字數：235千字

內容簡介

本書對機器學習的關鍵知識點進行了全面講解，幫助讀者順利完成從理論到實踐的過渡。書中首先介紹用於描述機器學習算法的統計與機率的知識，接著詳細分析機器學習技術的兩類主要方法——生成方法和判別方法，後深入研究了如何使機器學習算法在實際套用中發揮更大的作用。本書提供程式原始碼，便於讀者進行數據分析實踐。本書適合高等院校計算機、統計等專業的研究生和高年級本科生閱讀，同時也適合相關領域的技術人員參考。

目錄

目錄

譯者序

前言

作者簡介

第一部分緒論

第1章統計機器學習

1.1學習的類型

1.2機器學習任務舉例

1.2.1監督學習

1.2.2非監督學習

1.2.3進一步的主題

1.3本書結構

第二部分機率與統計

第2章隨機變數與機率分布

2.1數學基礎

2.2機率

2.3隨機變數和機率分布

2.4機率分布的性質

2.4.1期望、中位數和眾數

2.4.2方差和標準差

2.4.3偏度、峰度和矩

2.5隨便變數的變換

第3章離散機率分布的實例

3.1離散均勻分布

3.2二項分布

3.3超幾何分布

3.4泊松分布

3.5負二項分布

3.6幾何分布

第4章連續機率分布的實例

4.1連續均勻分布

4.2常態分配

4.3伽馬分布、指數分布和卡方分布

4.4Beta分布

4.5柯西分布和拉普拉斯分布

4.6t分布和F分布

第5章多維機率分布

5.1聯合機率分布

5.2條件機率分布

5.3列聯表

5.4貝葉斯定理

5.5協方差與相關性

5.6獨立性

第6章多維機率分布的實例

6.1多項分布

6.2多元常態分配

6.3狄利克雷分布

6.4威沙特分布

第7章獨立隨機變數之和

7.1卷積

7.2再生性

7.3大數定律

7.4中心極限定理

第8章機率不等式

8.1聯合界

8.2機率不等式

8.2.1馬爾可夫不等式和切爾諾夫不等式

8.2.2坎泰利不等式和切比雪夫不等式

8.3期望不等式

8.3.1琴生不等式

8.3.2赫爾德不等式和施瓦茨不等式

8.3.3閔可夫斯基不等式

8.3.4康托洛維奇不等式

8.4獨立隨機變數和的不等式

8.4.1切比雪夫不等式和切爾諾夫不等式

8.4.2霍夫丁不等式和伯恩斯坦不等式

8.4.3貝內特不等式

第9章統計估計

9.1統計估計基礎

9.2點估計

9.2.1參數密度估計

9.2.2非參數密度估計

9.2.3回歸和分類

9.2.4模型選擇

9.3區間估計

9.3.1基於正態樣本期望的區間估計

9.3.2bootstrap置信區間

9.3.3貝葉斯置信區間

第10章假設檢驗

10.1假設檢驗基礎

10.2正態樣本期望的檢驗

10.3尼曼皮爾森引理

10.4列聯表檢驗

10.5正態樣本期望差值檢驗

10.5.1無對應關係的兩組樣本

10.5.2有對應關係的兩組樣本

10.6秩的無參檢驗

10.6.1無對應關係的兩組樣本

10.6.2有對應關係的兩組樣本

10.7蒙特卡羅檢驗

第三部分統計模式識別的生成式方法

第11章通過生成模型估計的模式識別

11.1模式識別的公式化

11.2統計模式識別

11.3分類器訓練的準則

11.3.1最大後驗機率規則

11.3.2最小錯誤分類率準則

11.3.3貝葉斯決策規則

11.3.4討論

11.4生成式方法和判別式方法

第12章極大似然估計

12.1定義

12.2高斯模型

12.3類後驗機率的計算

12.4Fisher線性判別分析

12.5手寫數字識別

12.5.1預備知識

12.5.2線性判別分析的實現

12.5.3多分類器方法

第13章極大似然估計的性質

13.1一致性

13.2漸近無偏性

13.3漸近有效性

13.3.1一維的情況

13.3.2多維的情況

13.4漸近正態性

13.5總結

第14章極大似然估計的模型選擇

14.1模型選擇

14.2KL散度

14.3AIC資訊理論準則

14.4交叉檢驗

14.5討論

第15章高斯混合模型的極大似然估計

15.1高斯混合模型

15.2極大似然估計

15.3梯度上升算法

15.4EM算法

第16章非參數估計

16.1直方圖方法

16.2問題描述

16.3核密度估計

16.3.1Parzen 窗法

16.3.2利用核的平滑

16.3.3頻寬的選擇

16.4最近鄰密度估計

16.4.1最近鄰距離

16.4.2最近鄰分類器

第17章貝葉斯推理

17.1貝葉斯預測分布

17.1.1定義

17.1.2與極大似然估計的比較

17.1.3計算問題

17.2共軛先驗

17.3最大後驗估計

17.4貝葉斯模型選擇

第18章邊緣相似的解析近似

18.1拉普拉斯近似

18.1.1高斯密度估計

18.1.2例證

18.1.3套用於邊際似然逼近

18.1.4貝葉斯信息準則

18.2變分近似

18.2.1變分貝葉斯最大期望算法

18.2.2與一般最大期望法的關係

第19章預測分布的數值近似

19.1蒙特卡羅積分

19.2重要性採樣

19.3採樣算法

19.3.1逆變換採樣

19.3.2拒絕採樣

19.3.3馬爾可夫鏈蒙特卡羅方法

第20章貝葉斯混合模型

20.1高斯混合模型

20.1.1貝葉斯公式化

20.1.2變分推斷

20.1.3吉布斯採樣

20.2隱狄利克雷分配模型

20.2.1主題模型

20.2.2貝葉斯公式化

20.2.3吉布斯採樣

第四部分統計機器學習的判別式方法

第21章學習模型

21.1線性參數模型

21.2核模型

21.3層次模型

第22章最小二乘回歸

22.1最小二乘法

22.2線性參數模型的解決方案

22.3最小二乘法的特性

22.4大規模數據的學習算法

22.5層次模型的學習算法

第23章具有約束的最小二乘回歸

23.1子空間約束的最小二乘

23.22約束的最小二乘

23.3模型選擇

第24章稀疏回歸

24.11約束的最小二乘

24.2解決1約束的最小二乘

24.3稀疏學習的特徵選擇

24.4若干擴展

24.4.1廣義1約束最小二乘

24.4.2p約束最小二乘

24.4.31+2約束最小二乘

24.4.41,2約束最小二乘

24.4.5跡範數約束最小二乘

第25章穩健回歸

25.12損失最小化的非穩健性

25.21損失最小化

25.3Huber損失最小化

25.3.1定義

25.3.2隨機梯度算法

25.3.3疊代加權最小二乘

25.3.41約束Huber損失最小化

25.4Tukey 損失最小化

第26章最小二乘分類器

26.1基於最小二乘回歸的分類器

26.20/1損失和間隔

26.3多類分類器

第27章支持向量分類

27.1最大間隔分類

27.1.1硬間隔支持向量分類

27.1.2軟間隔支持向量分類

27.2支持向量分類的對偶最最佳化問題

27.3對偶解的稀疏性

27.4使用核技巧的非線性模型

27.5多類擴展

27.6損失最小化觀點

27.6.1Hinge損失最小化

27.6.2平方Hinge損失最小化

27.6.3Ramp損失最小化

第28章機率分類法

28.1Logistic回歸

28.1.1Logistic模型與極大似然估計

28.1.2損失最小化的觀點

28.2最小二乘機率分類

第29章結構化分類

29.1序列分類器

29.2序列的機率分類

29.2.1條件隨機場

29.2.2極大似然估計

29.2.3遞歸計算

29.2.4新樣本預測

29.3序列的確定性分類

第五部分高級主題

第30章集成學習

30.1決策樹樁分類器

30.2bagging算法

30.3boosting算法

30.3.1adaboost算法

30.3.2損失最小化觀點

30.4泛化集成學習

第31章線上學習

31.1隨機梯度下降法

31.2被動攻擊學習

31.2.1分類

31.2.2回歸

31.3加權向量的自適應正則化

31.3.1參數的不確定性

31.3.2分類

31.3.3回歸

第32章預測的置信度

32.12正則化最小二乘的預測方差

32.2bootstrap法置信區間估計

32.3套用

32.3.1時間序列預測

32.3.2調整參數的最佳化

第33章半監督學習

33.1流形正則化

33.1.1輸入樣本的流形結構

33.1.2計算解決方案

33.2協變數移位的適應

33.2.1重要度加權學習

33.2.2相對重要度加權學習

33.2.3重要度加權交叉檢驗

33.2.4重要度估計

33.3類別平衡變化下的適應

33.3.1類別平衡加權學習

33.3.2類別平衡估計

第34章多任務學習

34.1任務相似度正則化

34.1.1公式化

34.1.2解析解

34.1.3多任務的有效計算方法

34.2多維函式學習

34.2.1公式化

34.2.2有效的分析解決方案

34.3矩陣正則化

34.3.1參數矩陣正則化

34.3.2跡範數正則化的梯度法

第35章線性降維

35.1維度災難

35.2無監督降維法

35.2.1主成分分析

35.2.2局部保留投影

35.3分類的線性判別分析

35.3.1Fisher判別分析法

35.3.2局部Fisher 判別分析法

35.3.3半監督局部Fisher判別分析法

35.4回歸問題的充分降維

35.4.1資訊理論公式化

35.4.2直接導數估計

35.5矩陣插補

第36章非線性降維

36.1利用核技巧的降維

36.1.1核主成分分析

36.1.2拉普拉斯特徵映射

36.2通過神經網路的監督降維法

36.3通過自編碼器的非監督降維法

36.3.1自編碼器

36.3.2通過梯度下降法的訓練

36.3.3稀疏自編碼器

36.4通過受限玻爾茲曼機的非監督降維法

36.4.1模型

36.4.2通過梯度下降法的訓練

36.5深度學習

第37章聚類

37.1k均值聚類

37.2核k均值聚類

37.3譜聚類

37.4調諧參數的選擇

第38章異常檢測

38.1密度估計和局部異常因子

38.2支持向量數據描述

38.3基於正常值的異常檢測

第39章變化檢測

39.1基於分布模型的變化檢測

39.1.1KL散度

39.1.2Pearson散度

39.1.3L2距離

39.1.4L1距離

39.1.5最大均值差異

39.1.6能量距離

39.1.7時序變化檢測的套用

39.2基於結構模型的變化檢測

39.2.1稀疏極大似然估計

39.2.2稀疏密度比估計

參考文獻

索引