機器學習：算法視角

《機器學習：算法視角》是2019年機械工業出版社出版的圖書。

基本介紹

• 中文名：機器學習：算法視角
• 作者：(紐西蘭)史蒂芬·馬斯蘭(StephenMarsland)
• 出版時間：2019年
• 出版社：機械工業出版社
• ISBN：9787111622260

內容簡介

機器學習融合了計算機科學、統計學、數學、工程學等多個學科，套用領域遍及經濟、生物、醫藥、物理、化學等。本書針對計算機科學專業學生遇到的統計學基礎知識不足的問題，聚焦於機器學習中的算法，清晰呈現算法背後的數學和統計學知識，同時提供必要的編程技巧和實驗方法。

書中全面涵蓋各類算法，如神經網路、多層感知器、徑向基函式、支持向量機、進化學習、強化學習、決策樹學習、無監督學習、圖模型等。第2版進行了全面修訂和更新，以反映機器學習的新發展，新增了兩個章節來討論深度置信網路和高斯過程，此外，還添加了隨機森林、考慮精度的方法、MLP的共軛梯度最佳化、卡爾曼濾波和粒子濾波等內容。

圖書目錄

第2版前言

第1版前言

第1章　緒論1

1.1　如果數據有質量，地球將成為黑洞1

1.2　學習3

1.2.1　機器學習3

1.3　機器學習的類別4

1.4　監督學習5

1.4.1　回歸5

1.4.2　分類6

1.5　機器學習過程7

1.6　關於編程的注意事項8

1.7　本書的學習路線 9

拓展閱讀10

第2章　預備知識11

2.1　專業術語11

2.1.1　權重空間11

2.1.2　維度災難12

2.2　知你所知：測試機器學習算法13

2.2.1　過擬合14

2.2.2　訓練集、測試集和驗證集14

2.2.3　混淆矩陣15

2.2.4　精度指標16

2.2.5　受試者工作特徵曲線17

2.2.6　不平衡數據集17

2.2.7　度量精度18

2.3　數據與機率的轉換19

2.3.1　最小化風險20

2.3.2　樸素貝葉斯分類21

2.4　基本統計概念22

2.4.1　平均值22

2.4.2　方差與協方差22

2.4.3　高斯分布24

2.5　權衡偏差與方差24

拓展閱讀26

習題26

第3章　神經元、神經網路和線性判別27

3.1　大腦和神經元27

3.1.1　Hebb法則27

3.1.2　McCulloch和Pitts神經元28

3.1.3　McCulloch和Pitts神經元模型的局限性29

3.2　神經網路30

3.3　感知器31

3.3.1　學習速率η32

3.3.2　輸入偏置32

3.3.3　感知器學習算法33

3.3.4　感知器學習示例34

3.3.5　具體實現35

3.4　線性可分性39

3.4.1　感知器收斂定理40

3.4.2　XOR函式41

3.4.3　有用的領悟42

3.4.4　另一個示例：皮馬印第安人數據集43

3.4.5　數據預處理44

3.5　線性回歸45

3.5.1　示例46

拓展閱讀47

習題48

第4章　多層感知器49

4.1　前向50

4.1.1　偏置50

4.2　後向：誤差的反向傳播50

4.2.1　多層感知器算法53

4.2.2　初始化權重55

4.2.3　不同的輸出激活函式56

4.2.4　順序和批量訓練57

4.2.5　局部最小57

4.2.6　利用衝量58

4.2.7　小批量和隨機梯度下降58

4.2.8　其他改善方法59

4.3　實踐中的MLP59

4.3.1　訓練數據的量59

4.3.2　隱藏層的數目59

4.3.3　什麼時候停止學習60

4.4　MLP套用示例61

4.4.1　回歸問題61

4.4.2　使用MLP分類63

4.4.3　分類示例：iris數據集64

4.4.4　時間序列預測66

4.4.5　數據壓縮：自動關聯網路68

4.5　MLP使用指南69

4.6　反向傳播的推導70

4.6.1　網路輸出70

4.6.2　網路誤差70

4.6.3　激活函式的要求71

4.6.4　誤差的後向傳播72

4.6.5　輸出激活函式74

4.6.6　誤差函式的另一種形式75

拓展閱讀75

習題76

第5章　徑向基函式和樣條函式77

5.1　感受野77

5.2　徑向基函式網路79

5.2.1　訓練RBF網路80

5.3　插值和基函式82

5.3.1　基和基擴展83

5.3.2　三次樣條函式84

5.3.3　用樣條擬合數據84

5.3.4　平滑樣條85

5.3.5　更高維度86

5.3.6　邊界之外86

拓展閱讀87

習題87

第6章　維度約簡88

6.1　線性判別分析89

6.2　主成分分析91

6.2.1　PCA算法與多層感知器的關係94

6.2.2　核PCA94

6.3　因素分析96

6.4　獨立成分分析97

6.5　局部線性嵌入98

6.6　ISOMAP算法100

6.6.1　多維標度法101

拓展閱讀102

習題103

第7章　機率學習104

7.1　高斯混合模型104

7.1.1　期望最大化算法105

7.1.2　信息準則107

7.2　最近鄰法108

7.2.1　近鄰平滑109

7.2.2　有效的距離計算：KD-Tree110

7.2.3　距離度量112

拓展閱讀114

習題114

第8章　支持向量機115

8.1　最優分割115

8.1.1　間隔和支持向量116

8.1.2　約束最佳化問題117

8.1.3　非線性可分問題的鬆弛變數119

8.2　核120

8.2.1　選擇核121

8.2.2　示例：XOR122

8.3　支持向量機算法122

8.3.1　實現123

8.3.2　示例125

8.4　支持向量機的拓展126

8.4.1　多類分類126

8.4.2　支持向量機回歸127

8.4.3　其他優勢128

拓展閱讀128

習題128

第9章　最佳化和搜尋130

9.1　下山法130

9.1.1　泰勒展開132

9.2　最小二乘最佳化133

9.2.1　Levenberg-Marquardt算法133

9.3　共軛梯度法137

9.3.1　示例139

9.3.2　共軛梯度和MLP139

9.4　搜尋：三種基本方法141

9.4.1　窮舉法141

9.4.2　貪婪搜尋142

9.4.3　爬山法142

9.5　開發和探索143

9.6　模擬退火法143

9.6.1　算法比較144

拓展閱讀145

習題145

第10章　進化學習146

10.1　遺傳算法147

10.1.1　字元串表示147

10.1.2　評價適應度148

10.1.3　種群148

10.1.4　產生後代：選擇父母149

10.2　產生後代：遺傳運算元150

10.2.1　交叉150

10.2.2　變異151

10.2.3　精英法、比賽法和小生境151

10.3　使用遺傳算法153

10.3.1　圖著色153

10.3.2　間斷平衡154

10.3.3　示例：背包問題155

10.3.4　示例：四峰問題155

10.3.5　遺傳算法的缺陷156

10.3.6　用遺傳算法訓練神經網路156

10.4　遺傳程式157

10.5　與採樣結合的進化學習158

拓展閱讀159

習題160

第11章　強化學習161

11.1　概述161

11.2　示例：迷路162

11.2.1　狀態和動作空間163

11.2.2　胡蘿蔔和棍子：獎賞函式164

11.2.3　折扣165

11.2.4　動作選擇165

11.2.5　策略166

11.3　馬爾可夫決策過程166

11.3.1　馬爾可夫性166

11.3.2　馬爾可夫決策過程中的機率167

11.4　值167

11.5　回到迷路的示例：利用強化學習170

11.6　sarsa和Q-learning的不同171

11.7　強化學習的用處172

拓展閱讀172

習題173

第12章　樹的學習174

12.1　使用決策樹174

12.2　構建決策樹175

12.2.1　快速入門：資訊理論中的熵175

12.2.2　ID3176

12.2.3　基於Python的樹和圖的實現178

12.2.4　決策樹的實現178

12.2.5　處理連續變數180

12.2.6　計算複雜度180

12.3　分類和回歸樹181

12.3.1　基尼不純度181

12.3.2　樹回歸182

12.4　分類示例182

拓展閱讀184

習題184

第13章　委員會決策：集成學習186

13.1　boosting187

13.1.1　AdaBoost187

13.1.2　掘根190

13.2　bagging190

13.2.1　subagging191

13.3　隨機森林192

13.3.1　與boosting方法比較193

13.4　組合分類器的不同方法194

拓展閱讀195

習題196

第14章　無監督學習197

14.1　k-means算法197

14.1.1　處理噪點200

14.1.2　k-means神經網路200

14.1.3　歸一化201

14.1.4　一個更好的權重更新規則202

14.1.5　示例：iris數據203

14.1.6　使用競爭學習來聚類203

14.2　向量量化204

14.3　自組織特徵映射204

14.3.1　SOM算法206

14.3.2　近鄰連線207

14.3.3　自組織208

14.3.4　網路維度和邊界條件208

14.3.5　SOM套用示例209

拓展閱讀211

習題211

第15章　馬爾可夫鏈蒙特卡羅方法213

15.1　採樣213

15.1.1　隨機數213

15.1.2　高斯隨機數214

15.2　蒙特卡羅216

15.3　建議分布216

15.4　馬爾可夫鏈蒙特卡羅219

15.4.1　馬爾可夫鏈219

15.4.2　Metropolis-Hastings算法220

15.4.3　模擬退火222

15.4.4　Gibbs採樣223

拓展閱讀224

習題225

第16章　圖模型226

16.1　貝葉斯網路227

16.1.1　示例：考試恐懼227

16.1.2　近似推斷230

16.1.3　創建貝葉斯網路232

16.2　馬爾可夫隨機場233

16.3　隱馬爾可夫模型234

16.3.1　前向算法236

16.3.2　Viterbi算法238

16.3.3　Baum-Welch或前向後向算法239

16.4　跟蹤方法242

16.4.1　卡爾曼濾波242

16.4.2　粒子濾波247

拓展閱讀249

習題250

第17章　對稱權重與深度置信網路251

17.1　積極學習:Hopfield網路252

17.1.1　聯想記憶252

17.1.2　實現聯想記憶252

17.1.3　能量函式255

17.1.4　Hopfield網路的容量256

17.1.5　連續Hopfield網路257

17.2　隨機神經元：玻爾茲曼機257

17.2.1　受限玻爾茲曼機259

17.2.2　CD算法的推導262

17.2.3　監督學習265

17.2.4　RBM作為定向置信網路267

17.3　深度學習268

17.3.1　深度置信網路270

拓展閱讀273

習題273

第18章　高斯過程274

18.1　高斯過程回歸275

18.1.1　添加噪聲276

18.1.2　高斯過程回歸的實現（一）278

18.1.3　學習參數279

18.1.4　高斯過程回歸的實現（二）280

18.1.5　選擇（一組）協方差函式282

18.2　高斯過程分類282

18.2.1　拉普拉斯近似283

18.2.2　計算後驗283

18.2.3　高斯過程分類的實現285

拓展閱讀286

習題287

附錄　Python入門288

作者簡介

　　作者簡介：

　　史蒂芬·馬斯蘭（Stephen Marsland）紐西蘭惠靈頓維多利亞大學數學與統計學院教授，兼任紐西蘭複雜系統卓越研究中心項目主管，負責複雜性、風險與不確定性等相關主題的研究工作。研究興趣是幾何和複雜系統的套用，主要涉及形狀空間、機器學習和算法。

　　譯者簡介：

　　高陽 教授/博導，目前任南京大學計算機科學與技術系副主任，中國計算機學會機器學習專委會副主任。1997年開始從事人工智慧、機器學習、多Agent系統、大數據、圖像和視頻分析等方向的學術研究。2010年入選教育部新世紀優秀人才計畫。曾獲2017年度中國人工智慧學會吳文俊自然科學獎二等獎、2018年度江蘇省科學技術獎二等獎。

　　商琳 博士／副教授，1998年起任教於南京大學計算機科學與技術系，長期從事人工智慧、機器學習、計算智慧型、文本挖掘、圖像與視頻理解等領域的教學與科研工作。目前擔任中國計算機學會人工智慧與模式識別專委會委員，中國人工智慧學會粒計算與知識發現專委會副秘書長。