機器學習導論(2021年清華大學出版社出版的圖書)

《機器學習導論》是2021年清華大學出版社出版的圖書，作者：王東。本書從實戰出發，內容全面，從基本概念入手，介紹了各種機器學習的基本類型。

基本介紹

• 中文名：機器學習導論
• 作者：王東
• 出版社：清華大學出版社
• ISBN：9787302546054

內容簡介

本書分類《機器學習導論》面向機器學習領域的主要模型和算法，重點闡述不同方法背後的基本假設以及它們之間的相關性，幫助讀者建立機器學習的基礎理論功底，為從事該領域的相關工作打下基礎。具體內容包括機器學習研究的總體思路、發展歷史與關鍵問題，線性模型，神經網路及深度學習，核方法，圖模型，無監督學習，非參數模型，演化學習，強化學習，數值最佳化方法等。 本書可作為高等學校相關課程的教材，也可作為研究生及對機器學習感興趣的科技、工程技術人員的參考用書。本書封面貼有清華大學出版社防偽標籤，無標籤者不得銷售。

圖書目錄

第1章機器學習概述1

1.1什麼是機器學習1

1.2機器學習的基本框架2

1.3機器學習發展簡史5

1.4機器學習的流派7

1.4.1符號學派8

1.4.2貝葉斯學派8

1.4.3連線學派10

1.4.4進化仿生學派11

1.4.5哪個學派更占主流12

1.5讓人驚訝的學習13

1.5.1從猴子摘香蕉到星際大戰13

1.5.2集體學習的機器人14

1.5.3圖片理解16

1.5.4金融市場量化分析18

1.5.5AlphaGo20

1.6機器學習技術的前沿21

1.7機器智慧型會超過人類智慧型嗎22

1.8機器學習基礎23

1.81訓練、驗證與測試23

1.8.2參數過擬合、交叉驗證與正則化24

1.8.3結構過擬合與模型選擇24

1.8.4機器學習方法分類27

1.9開始你的機器學習之旅29

1.9.1如何開始一個機器學習任務29

1.9.2如何學習機器學習30

1.10相關資源30

第2章線性模型33

2.1線性預測模型33

2.1.1從多項式擬合說起34

2.1.2線性回歸36

2.1.3Fisher準則與線性分類39

2.1.4Logistic回歸42

2.1.5小結44

2.2線性機率模型45

2.2.1主成分分析46

2.2.2機率主成分分析47

2.2.3機率線性判別分析50

2.3貝葉斯方法52

2.4本章小結54

2.5相關資源55

第3章神經模型56

3.1神經網路概述57

3.1.1什麼是人工神經網路58

3.1.2神經模型與其他方法58

3.2基於映射的神經模型59

3.2.1從線性模型開始59

3.2.2多層感知器62

3.2.3徑向基函式網路67

3.2.4神經網路模型與先驗知識69

3.3基於記憶的神經模型72

3.3.1Kohonen網路73

3.3.2Hopfield網路75

3.3.3玻爾茲曼機78

3.3.4受限玻爾茲曼機81

3.3.5自編碼器84

3.4基於過程的模型87

3.4.1ElmanRNN88

3.4.2門網路89

3.4.3序列對序列網路93

3.4.4基於Attention模型的詩詞生成95

3.5神經圖靈機97

3.6本章小結99

3.7相關資源100

第4章深度學習101

4.1從淺層學習到深度學習101

4.1.1網路表達能力102

4.1.2層次表示與特徵學習103

4.1.3顯著特徵的非監督學習104

4.1.4複雜結構與數據驅動109

4.2深度神經網路訓練110

4.2.1基礎訓練算法110

4.2.2DNN訓練的困難116

4.2.3DNN訓練技巧125

4.3神經網路的正則化134

4.3.1結構化網路與參數共享135

4.3.2範式約束與稀疏網路137

4.3.3加噪訓練與數據增強140

4.3.4聯合訓練140

4.3.5知識遷移143

4.4生成模型下的深度學習145

4.4.1神經網路的簡單機率表達145

4.4.2後驗擬合與VariationalAE147

4.4.3VariationalRNN151

4.5計算圖與複雜神經網路153

4.5.1由ChainRule到計算圖154

4.5.2基於計算圖的參數最佳化156

4.5.3計算圖的模組化157

4.5.4計算圖與深度神經網路157

4.6計算平台與方法160

4.6.1GPU與TPU160

4.6.2並行計算161

4.6.3模型壓縮167

4.7深度學習的套用169

4.7.1語音信號處理169

4.7.2自然語言處理173

4.7.3計算機視覺176

4.8本章小結179

4.9相關資源180

第5章核方法181

5.1從線性回歸到核方法183

5.2核函式的性質184

5.2.1再生核希爾伯特空間與Mercer定理184

5.2.2核函式的基本性質186

5.3常用核函式186

5.3.1簡單核函式187

5.3.2機率核188

5.3.3複雜對象上的核函式189

5.4KernelPCA195

5.5高斯過程197

5.6支持向量機199

5.6.1線性可分的SVM200

5.6.2線性不可分的SVM202

5.6.3v-SVM204

5.6.4SVM的若干討論205

5.7相關向量機206

5.8本章小結208

5.9相關資源209

第6章圖模型210

6.1機率圖模型簡介211

6.2有向圖模型212

6.2.1典型模型212

6.2.2有向圖變數相關性判斷214

6.3無向圖模型217

6.3.1無向圖變數相關性判斷218

6.3.2有向圖向無向圖轉化219

6.3.3有向圖和無向圖對比221

6.4常用機率圖模型221

6.4.1高斯混合模型221

6.4.2隱馬爾可夫模型225

6.4.3線性條件隨機場229

6.5EM算法232

6.6精確推理算法235

6.6.1加和—乘積算法235

6.6.2樹狀圖的加和—乘積算法237

6.6.3聯合樹算法238

6.7近似推理算法240

6.7.1採樣法241

6.7.2變分法246

6.7.3採樣法和變分法比較250

6.8本章小結250

6.9相關資源251

第7章無監督學習252

7.1無監督學習任務253

7.1.1聚類概述253

7.1.2流形學習概述254

7.1.3因子學習255

7.2聚類方法256

7.2.1基於劃分的聚類方法256

7.2.2基於連線的聚類方法258

7.2.3基於密度的聚類方法262

7.2.4基於模型的聚類方法263

7.3流形學習264

7.3.1主成分分析266

7.3.2多維標度268

7.3.3ISOMAP269

7.3.4自組織映射271

7.3.5局部線性嵌入273

7.3.6譜嵌入276

7.3.7t-SNE276

7.3.8流形學習方法比較279

7.4圖模型與無監督學習279

7.4.1圖模型下的聚類任務279

7.4.2圖模型下的流形學習280

7.4.3圖模型下的因子學習281

7.5神經模型與無監督學習282

7.5.1特徵學習任務中的因子學習282

7.52生成任務中的因子學習283

7.5.3分類/回歸任務中的因子學習283

7.6本章小結285

7.7相關資源286

第8章非參數模型287

8.1簡單非參數模型288

8.2回顧高斯過程290

8.2.1高斯過程定義290

8.2.2高斯過程回歸292

8.2.3高斯過程用於分類任務296

8.3狄利克雷過程296

8.3.1回顧高斯混合模型297

8.3.2中國餐館問題298

8.3.3狄利克雷分布及性質300

8.3.4狄利克雷過程的定義302

8.3.5狄利克雷過程的表示303

8.3.6狄利克雷過程的構造307

8.3.7推理方法309

8.3.8HierarchicalDP(HDP)311

8.4本章小結312

8.5相關資源313

第9章演化學習315

9.1基於採樣的最佳化方法316

9.1.1演化學習316

9.1.2群體學習與隨機最佳化317

9.2遺傳算法318

9.2.1算法框架319

9.2.2算法細節320

9.2.3進化理論324

9.3遺傳編程328

9.3.1算法基礎328

9.3.2GP高級話題333

9.3.3其他演化學習方法335

9.4群體學習方法336

9.4.1蟻群最佳化算法337

9.4.2人工蜂群算法338

9.4.3粒子群算法340

9.4.4捕獵者搜尋341

9.4.5螢火蟲算法342

9.5隨機最佳化方法342

9.5.1模擬退火算法342

9.5.2杜鵑搜尋343

9.5.3和聲搜尋344

9.5.4禁忌搜尋344

9.6本章小節345

9.7相關資源347

第10章強化學習348

10.1強化學習概述349

10.1.1什麼是強化學習349

10.1.2與其他學習方法的區別350

10.1.3強化學習的套用352

10.2強化學習的基本要素353

10.2.1強化學習三元素353

10.2.2長期收益353

10.2.3值函式與策略最佳化354

10.2.4通用策略疊代355

10.2.5強化學習算法分類356

10.3值函式學習:基於模型的規划算法358

10.3.1馬爾可夫決策過程358

10.3.2MDP中的值函式360

10.3.3策略估值:動態規划算法361

10.3.4策略最佳化:策略疊代和值疊代362

10.4值函式學習:基於採樣的蒙特卡羅方法365

10.4.1學習任務與採樣方法365

10.4.2蒙特卡羅策略估值365

10.4.3蒙特卡羅策略最佳化367

10.5值函式學習:基於採樣的時序差分方法370

10.5.1基於TD的策略估值370

10.5.2基於TD的策略最佳化372

10.5.3N-stepTD與TD(λ)374

10.5.4三種值函式學習方法總結375

10.6模型學習377

10.6.1值函式學習與模型學習377

10.6.2模型學習方法378

10.6.3Dyna:混合學習方法379

10.7函式近似與策略學習380

10.7.1值函式近似381

10.7.2基於梯度的參數最佳化383

10.7.3基於函式近似的策略學習383

10.7.4Actor-Critic方法385

10.8深度強化學習方法386

10.8.1Atari遊戲387

10.8.2AlphaGo388

10.9本章小結391

10.10相關資源391

第11章最佳化方法393

11.1函式最佳化394

11.1.1最佳化問題定義394

11.1.2最佳化問題分類395

11.1.3基礎定理395

11.2無約束最佳化問題396

11.2.1線性搜尋396

11.2.2置信域最佳化401

11.3帶約束最佳化問題404

11.3.1拉格朗日乘子法405

11.3.2對偶問題407

11.3.3線性規劃409

11.3.4二階規劃415

11.3.5一般非線性最佳化420

11.4本章小結425

11.5相關資源426

參考文獻427

作者簡介

王東， 1995-2002年清華本科、碩士，2010年英國愛丁堡大學博士，歷任Oracle 中國軟體工程師，IBM中國高級軟體工程師，英國愛丁堡大學Marie Curie 研究員，法國EURECOM博士後研究員，美國Nuance公司高級研究科學家。現任清華大學語音語言中心副研究員，中心常務副主任，FreeNeb公司首席科學家。王東博士是全國人機語音通訊會議常設機構秘書長，是亞太信號信息處理聯盟(APASIPA)語音專委會副主席、傑出講師，是國際標準與語音數據資源委員會(COCOSDA)大陸區代表。王東博士自1997年開始從事語音識別、自然語言處理方面的研究，在相關領域發表學術論文120餘篇，公開專利20餘項，其專利技術在日本軟銀、新松、智慧型管家等多家國內外著名公司套用，創造了良了的社會效益和經濟效益。