神經網路與機器學習（原書第3版）

《神經網路與機器學習（原書第3版）》是由機械工業出版社出版，作者Simon Haykin，譯者申富饒。

基本介紹

• 中文名：神經網路與機器學習（原書第3版）
• 外文名： Neural Networks and Learning Machines (3rd Edition)
• 作者：Simon Haykin 
• 譯者：申富饒

基本信息

原書名： Neural Networks and Learning Machines (3rd Edition)

原出版社： Prentice Hall

作者： (加)Simon Haykin

譯者： 申富饒 徐燁 鄭俊 晁靜

叢書名： 計算機科學叢書

出版社：機械工業出版社

ISBN：9787111324133

上架時間：2011-3-2

出版日期：2011 年3月

開本：16開

頁碼：572

版次：3-1

內容簡介

本書是關於神經網路的全面的、徹底的、可讀性很強的、最新的論述。全書共15章，主要內容包括rosenblatt感知器、通過回歸建立模型、最小均方算法、多層感知器、核方法和徑向基函式網路、支持向量機、正則化理論、主分量分析、自組織映射、資訊理論學習模型、動態規劃、神經動力學、動態系統狀態估計的貝葉斯濾波等。

本書適合作為高等院校計算機相關專業研究生及本科生的教材，也可供相關領域的工程技術人員參考。

目錄

出版者的話

譯者序

前言

縮寫和符號

術語

第0章導言1

0.1什麼是神經網路1

0.2人類大腦4

0.3神經元模型7

0.4被看作有向圖的神經網路10

0.5反饋11

0.6網路結構13

0.7知識表示14

0.8學習過程20

0.9學習任務22

0.10結束語27

注釋和參考文獻27

第1章rosenblatt感知器28

1.1引言28

1.2感知器28

.1.3感知器收斂定理29

1.4高斯環境下感知器與貝葉斯分類器的關係33

1.5計算機實驗：模式分類36

1.6批量感知器算法38

1.7小結和討論39

注釋和參考文獻39

習題40

第2章通過回歸建立模型28

2.1引言41

2.2線性回歸模型：初步考慮41

2.3參數向量的最大後驗估計42

2.4正則最小二乘估計和map估計之間的關係46

2.5計算機實驗：模式分類47

2.6最小描述長度原則48

2.7固定樣本大小考慮50

2.8工具變數方法53

2.9小結和討論54

注釋和參考文獻54

習題55

第3章最小均方算法56

3.1引言56

3.2lms算法的濾波結構56

3.3無約束最最佳化：回顧58

3.4維納濾波器61

3.5最小均方算法63

3.6用馬爾可夫模型來描畫lms算法和維納濾波器的偏差64

3.7朗之萬方程：布朗運動的特點65

3.8kushner直接平均法66

3.9國小習率參數下統計lms學習理論67

3.10計算機實驗Ⅰ：線性預測68

3.11計算機實驗Ⅱ：模式分類69

3.12lms算法的優點和局限71

3.13學習率退火方案72

3.14小結和討論73

注釋和參考文獻74

習題74

第4章多層感知器77

4.1引言77

4.2一些預備知識78

4.3批量學習和線上學習79

4.4反向傳播算法81

4.5異或問題89

4.6改善反向傳播算法性能的試探法90

4.7計算機實驗：模式分類94

4.8反向傳播和微分95

4.9hessian矩陣及其在線上學習中的規則96

4.10學習率的最優退火和自適應控制98

4.11泛化102

4.12函式逼近104

4.13交叉驗證107

4.14複雜度正則化和網路修剪109

4.15反向傳播學習的優點和局限113

4.16作為最最佳化問題看待的監督學習117

4.17卷積網路126

4.18非線性濾波127

4.19小規模和大規模學習問題131

4.20小結和討論136

注釋和參考文獻137

習題138

第5章核方法和徑向基函式網路144

5.1引言144

5.2模式可分性的cover定理144

5.3插值問題148

5.4徑向基函式網路150

5.5k-均值聚類152

5.6權向量的遞歸最小二乘估計153

5.7rbf網路的混合學習過程156

5.8計算機實驗：模式分類157

5.9高斯隱藏單元的解釋158

5.10核回歸及其與rbf網路的關係160

5.11小結和討論162

注釋和參考文獻164

習題165

第6章支持向量機168

6.1引言168

6.2線性可分模式的最優超平面168

6.3不可分模式的最優超平面173

6.4使用核方法的支持向量機176

6.5支持向量機的設計178

6.6xor問題179

6.7計算機實驗:模式分類181

6.8回歸：魯棒性考慮184

6.9線性回歸問題的最最佳化解184

6.10表示定理和相關問題187

6.11小結和討論191

注釋和參考文獻192

習題193

第7章正則化理論197

7.1引言197

7.2良態問題的hadamard條件198

7.3tikhonov正則化理論198

7.4正則化網路205

7.5廣義徑向基函式網路206

7.6再論正則化最小二乘估計209

7.7對正則化的附加要點211

7.8正則化參數估計212

7.9半監督學習215

7.10流形正則化：初步的考慮216

7.11可微流形217

7.12廣義正則化理論220

7.13光譜圖理論221

7.14廣義表示定理222

7.15拉普拉斯正則化最小二乘算法223

7.16用半監督學習對模式分類的實驗225

7.17小結和討論227

注釋和參考文獻228

習題229

第8章主分量分析232

8.1引言232

8.2自組織原則232

8.3自組織的特徵分析235

8.4主分量分析：擾動理論235

8.5基於hebb的最大特徵濾波器241

8.6基於hebb的主分量分析247

8.7計算機實驗：圖像編碼251

8.8核主分量分析252

8.9自然圖像編碼中的基本問題256

8.10核hebb算法257

8.11小結和討論260

注釋和參考文獻262

習題264

第9章自組織映射268

9.1引言268

9.2兩個基本的特徵映射模型269

9.3自組織映射270

9.4特徵映射的性質275

9.5計算機實驗Ⅰ：利用som解格線動力學問題280

9.6上下文映射281

9.7分層向量量化283

9.8核自組織映射285

9.9計算機實驗Ⅱ：利用核som解點陣動力學問題290

9.10核som和相對熵之間的關係291

9.11小結和討論293

注釋和參考文獻294

習題295

第10章資訊理論學習模型299

10.1引言299

10.2熵300

10.3最大熵原則302

10.4互信息304

10.5相對熵306

10.6系詞308

10.7互信息作為最最佳化的目標函式310

10.8最大互信息原則311

10.9最大互信息和冗餘減少314

10.10空間相干特徵316

10.11空間非相干特徵318

10.12獨立分量分析320

10.13自然圖像的稀疏編碼以及與ica編碼的比較324

10.14獨立分量分析的自然梯度學習326

10.15獨立分量分析的最大似然估計332

10.16盲源分離的最大熵學習334

10.17獨立分量分析的負熵最大化337

10.18相關獨立分量分析342

10.19速率失真理論和信息瓶頸347

10.20數據的最優流形表達350

10.21計算機實驗：模式分類354

10.22小結和討論354

注釋和參考文獻356

習題361

第11章植根於統計力學的隨機方法366

11.1引言366

11.2統計力學367

11.3馬爾可夫鏈368

11.4metropolis算法374

11.5模擬退火375

11.6gibbs抽樣377

11.7boltzmann機378

11.8logistic信度網路382

11.9深度信度網路383

11.10確定性退火385

11.11和em算法的類比389

11.12小結和討論390

注釋和參考文獻390

習題392

第12章動態規劃396

12.1引言396

12.2馬爾可夫決策過程397

12.3bellman最優準則399

12.4策略疊代401

12.5值疊代402

12.6逼近動態規劃：直接法406

12.7時序差分學習406

12.8q學習410

12.9逼近動態規劃：非直接法412

12.10最小二乘策略評估414

12.11逼近策略疊代417

12.12小結和討論419

注釋和參考文獻421

習題422

第13章神經動力學425

13.1引言425

13.2動態系統426

13.3平衡狀態的穩定性428

13.4吸引子432

13.5神經動態模型433

13.6作為遞歸網路範例的吸引子操作435

13.7hopfield模型435

13.8cohen-grossberg定理443

13.9盒中腦狀態模型445

13.10奇異吸引子和混沌448

13.11混沌過程的動態重構452

13.12小結和討論455

注釋和參考文獻457

習題458

第14章動態系統狀態估計的貝葉斯濾波461

14.1引言461

14.2狀態空間模型462

14.3卡爾曼濾波器464

14.4發散現象及平方根濾波469

14.5擴展的卡爾曼濾波器474

14.6貝葉斯濾波器477

14.7數值積分卡爾曼濾波器:基於卡爾曼濾波器480

14.8粒子濾波器484

14.9計算機實驗：擴展的卡爾曼濾波器和粒子濾波器對比評價490

14.10大腦功能建模中的

卡爾曼濾波493

14.11小結和討論494

注釋和參考文獻496

習題497

第15章動態驅動遞歸網路501

15.1引言501

15.2遞歸網路體系結構502

15.3通用逼近定理505

15.4可控性和可觀測性507

15.5遞歸網路的計算能力510

15.6學習算法511

15.7通過時間的反向傳播512

15.8實時遞歸學習515

15.9遞歸網路的消失梯度519

15.10利用非線性逐次狀態估計的遞歸網路監督學習框架521

15.11計算機實驗：mackay-glass吸引子的動態重構526

15.12自適應考慮527

15.13實例學習：套用於神經控制的模型參考529

15.14小結和討論530

注釋和參考文獻533

習題534

參考文獻538

譯者序

從20世紀40年代M-P神經元模型的提出開始，神經網路的發展過程可謂是一波三折。1965年M.Minsky和S.Papert的《感知機》使得神經網路的研究停滯了超過10年，直到20世紀80年代初Hopfield網路和誤差反向傳播算法等的提出，神經網路的研究才步入恢復期。時至今日，神經網路系統研究的重要意義已經得到廣泛承認，在模式識別、人工智慧、通信、控制、金融、機器人、生物信息學等許多領域都有廣泛套用。可以說神經網路作為目前非線性科學和計算智慧型研究的主要內容之一，已經成為解決很多實際問題的一種必要的技術手段。

本書作者Simon Haykin長期從事神經網路的研究，其關於神經網路的系列教材是國際上最有影響力的教材之一。本書是其經典教材《Neural Networks:A Comprehensive Foundation》的第3版。正如本書的題目所示，這一版對神經網路和機器學習這兩個密切相關的分支進行了全面分析，在前一版的基礎上作了廣泛修訂，提供了神經網路和機器學習這兩個重要性持續增長的學科的最新分析。本書全面、系統地介紹了神經網路的基本模型、基本方法，對神經網路的基本模型和主要學習理論作了深入研究，對神經網路的最新發展趨勢和主要研究方向進行了全面而綜合的介紹。

在翻譯過程中，譯者常常為本書作者嚴謹的治學態度及本書博大精深的內容而讚嘆不已。本書綜合了諸多神經網路和機器學習的最新研究，在翻譯過程中雖然力求準確地反映原著內容，但由於譯者水平有限，翻譯中如有錯漏之處，懇請讀者批評指正。

本書的翻譯得到了國家自然科學基金的資助（項目編號60975047），特此表示感謝。同時，感謝參與本書翻譯的全體人員，沒有他們的辛勤工作，本書的中文譯本是無法順利完成的；感謝本書第2版（《神經網路原理》）的譯者，在翻譯過程中我們大量參考了第2版中文譯本的內容；還要感謝南京大學計算機軟體新技術國家重點實驗室的支持。

南京大學計算機科學與技術系

計算機軟體新技術國家重點實驗室

申富饒

2010年10月於南京