《機器學習與深度學習算法基礎》是2020年北京大學出版社出版的圖書，作者是賈壯。
基本介紹
- 書名：機器學習與深度學習算法基礎
- 作者：賈壯
- 出版社：北京大學出版社
- ISBN：9787301313473
內容簡介,圖書目錄,作者簡介,
內容簡介
本書從機器學習的概念與基本原理開始，介紹了機器學習及近年來流行的深度學習領域的經典模型。閱讀本書可以讓讀者系統地了解機器學習和深度學習領域的基本知識，領會模型算法的思路與策略。
本書分為兩篇，共18章。一篇為經典機器學習模型，主要介紹常用的機器學習經典模型，包括少放洪線性回歸、支持向量機模型、邏輯斯蒂回歸、決策樹模型、k近鄰、樸素貝葉斯、線性判別分析和主成分分析、流形學習、聚類算法、稀疏編碼、直推式支持向量機、集成算法。第二篇為深度學習模型與方法，剖析神經網路的基本要素，並介紹常用的深度學習模型，包括感知機、卷積良嘗詢神經網路、循環神經網路、生成對抗網路。
本書試圖從初學者的角度對機器學習和深度學習的經典算法進行詳細闡述。本書插圖豐富，語言通俗易懂，適合初入機器學習領域的“萌新”，也適合希望將機器學習算法套用到日常工作中的其他專業從業者，還可供對人工智慧領擊應翻域感興趣的讀者參考閱讀。
圖書目錄
第一篇 經典機器學習模型
第1章 引言：從線性回歸說起 2
1.1 什麼是機器學習 3
1.1.1 傳統算法與機器學習算法 4
1.1.2 線性回歸 9
1.2 過擬合與正則化 10
1.2.1 樣本量與過擬合 10
1.2.2 正則化方法 12
1.3 嶺回歸和lasso回歸 14
1.3.1 嶺回歸 14
1.3.2 lasso回歸 17
1.3.3 l1正則化和l2正則化 17
1.4 本章小結與代碼實現 21
1.5 本章話題：機器學習的
一般原理 25
第2章 陰陽剖分：支持向量機模型 30
2.1 支持向量機模型的基本思路 30
2.1.1 支持向量機模型的
基本思路 31
2.1.2 支持向量機算法的
基本流程 34
2.2 數學形式與求解方法 34
2.2.1 數學知識補充 35
2.2.2 數學模型與理論推導 36
2.3 核方法與維度問題 38
2.3.1 核方法的含義 39
2.3.2 核函式SVM 39
2.4 軟間隔支持向量機 41
2.4.1 軟間隔的含義 41
2.4.2 軟間隔SVM的損失
函式 42
2.5 本章小結與代碼實現 44
2.6 本章話題：高維度，是災難
還是契機？ 46
第3章 化直為曲：邏輯斯蒂回歸 50
3.1 邏輯斯蒂回歸的基本原理 50
3.1.1 分類問題與回歸問題 51
3.1.2 邏輯斯蒂回歸算法思路 53
3.2 邏輯斯蒂函式 56
3.2.1 邏輯斯蒂函式的由來 56
3.2.2 邏輯斯蒂函式的優勢 58
3.3 邏輯斯蒂回歸的數學原理 59
3.3.1 邏輯斯蒂回歸的數學
形式 59
3.3.2 準確率和召回率 62
3.4 參數確定的方法 65
3.4.1 似然函式簡介 65
3.4.2 邏輯斯蒂回歸的損失
函式 66
3.5 多項邏輯斯蒂回歸 67
3.5.1 多分類問題的邏輯斯蒂
回歸 67
3.5.2 softmax函式 68
3.6 本章小結與代碼實現 69
3.7 本章話題：廣義線性模想格臘型 72
第4章 層層拷問：決策樹模型 77
4.1 模型思路與算法流程 78
4.1.1 決策樹的思路——
以讀心術遊戲為例 78
4.1.2 決策樹模型的基本流程 81
4.1.3 決策樹模型的關鍵問題 87
4.2 特徵選擇原則 87
4.2.1 信息增益原則 87
4.2.2 信息增益比原則 89
4.2.3 基尼係數原則 89
4.3 剪枝策略 90
4.4 常用決策樹模型：ID3與
C4.5算法 92
4.4.1 ID3算法 92
4.4.2 C4.5算法 92
4.5 多變數決策樹簡介 93
4.6 本章小結與代碼實現 94
4.7 本章話題：資訊理論與
特徵選擇 97
第5章 近朱者赤：k近鄰模型 101
5.1 模型的思路和特點 101
5.1.1 模型思路 101
5.1.2 懶惰學習與迫切學習 103
5.2 模型的相紙祖捉估關性欠辣質 105
5.2.1 數學形式 105
5.2.2 損失函式與誤差 108
5.2.3 k近鄰模型的改進 109
5.3 距離函式與參數選擇 111
5.3.1 距離函式 111
5.3.2 參數選擇的影響 114
5.4 本章小結與代碼實現 115
5.5 本章話題：應霉葛記相似性度量 119
第6章 執果索因：樸素貝葉斯
模型 123
6.1 貝葉斯方法的基本概念 123
6.1.1 貝葉斯學派與頻率
學派 124
6.1.2 全機率公式與貝葉斯
公式 127
6.2 樸素貝葉斯的原理和方法 133
6.2.1 樸素貝葉斯的“樸素”
假設 133
6.2.2 拉普拉斯平滑 135
6.3 樸素貝葉斯算法的步驟與
流程 137
6.4 生成式模型與判別式模型 138
6.5 本章小結與代碼實現 138
6.6 本章話題：貝葉斯思維與
先驗概念 141
第7章 提綱挈領：線性判別分析與
主成分分析 144
7.1 線性降維的基本思路 144
7.2 LDA 146
7.2.1 投影的技巧 146
7.2.2 類內距離和類間距離 147
7.2.3 LDA的求解 149
7.3 PCA 151
7.3.1 基變換與特徵降維 151
7.3.2 方差最大化與PCA原理
推導 154
7.3.3 PCA的實現步驟 158
7.4 LDA與PCA：區別與
聯繫 158
7.5 本章小結與代碼實現 159
7.5.1 LDA實驗：鳶尾花
數據集降維分類 159
7.5.2 PCA實驗：手寫數字
數據集降維 161
7.6 本章話題：矩陣的直觀解釋
與套用 162
第8章 曲面平鋪：流形學習 166
8.1 流形與流形學習 166
8.2 Isomap的基本思路與
實現方法 170
8.2.1 測地距離的概念 170
8.2.2 計算測地距離：圖論中的
Floyd算法 172
8.2.3 由距離到坐標：多維尺度
變換方法 173
8.3 Isomap算法步驟 175
8.4 LLE的基本思路與
實現方法 175
8.4.1 LLE的基本思想 175
8.4.2 局部線性重構 176
8.5 LLE算法步驟 177
8.6 本章小結與代碼實現 178
8.7 本章話題：黎曼、非歐幾何
與流形感知 180
第9章 物以類聚：聚類算法 185
9.1 無監督方法概述 185
9.2 聚類的基本目標和評價
標準 187
9.2.1 聚類的基本目標 187
9.2.2 聚類的評價標準 188
9.3 基於中心的k-means
算法 191
9.3.1 k-means算法的基本
思路 191
9.3.2 k-means算法步驟 193
9.3.3 k-means算法的局
限性 195
9.4 層次聚類算法 196
9.4.1 層次聚類的基本原理 196
9.4.2 層次聚類的AGNES
算法 199
9.5 密度聚類算法：DBSCAN 200
9.5.1 DBSCAN算法的基本
思路 200
9.5.2 DBSCAN算法步驟 201
9.6 本章小結與代碼實現 203
9.7 本章話題：Science上的一種
巧妙聚類算法 205
第10章 字典重構：稀疏編碼 209
10.1 稀疏編碼的思路 209
10.1.1 神經生物學的發現 210
10.1.2 過完備性與稀疏性 210
10.2 稀疏編碼的數學形式 213
10.3 字典學習中的“字典” 215
10.3.1 傳統算法中的
“字典” 215
10.3.2 “字典”學習的意義 216
10.4 本章小結與代碼實現 217
10.5 本章話題：壓縮感知理論
簡介 220
第11章 教學相長：直推式支持
向量機 223
11.1 半監督學習簡介 223
11.2 T-SVM模型 227
11.2.1 T-SVM的基本思路 227
11.2.2 T-SVM算法步驟 228
11.3 本章小結與代碼實現 229
11.4 本章話題：不同樣本集場景
下的問題處理策略 233
第12章 群策群力：集成學習 236
12.1 自舉匯聚和提升 236
12.1.1 Bagging算法和Boosting
算法的基本思路 237
12.1.2 Bagging算法和Boosting
算法的區別與聯繫 240
12.2 Bagging算法的基本
步驟 241
12.3 Boosting算法的基本
步驟 242
12.4 Bagging算法：以隨機
森林算法為例 243
12.4.1 隨機森林算法 243
12.4.2 隨機森林算法中的
隨機性 244
12.5 Boosting算法：以Adaboost
算法為例 244
12.5.1 Adaboost算法的實現
步驟 245
12.5.2 Adaboost算法過程
分析 245
12.6 本章小結與代碼實現 246
12.7 本章話題：Adaboost算法
中的分步策略 249
第二篇 深度學習模型與方法
第13章 神經網路與深度學習：從感知機模型到阿爾法狗 254
13.1 感知機模型 256
13.1.1 感知機模型的基本原理
與數學形式 256
13.1.2 感知機模型的缺陷與
改進 260
13.2 人工神經網路 262
13.2.1 生物神經元與感知機
模型 262
13.2.2 人工神經網路方法
簡介 264
13.2.3 反向傳播算法 265
13.2.4 神經網路的優勢 267
13.3 需要深度學習的原因 268
13.4 神經網路模型的局限性 268
13.5 常用神經網路框架簡介 270
13.6 本章話題：人工智慧發展
大事年表 271
作者簡介
賈壯，畢業於清華大學自動化系，專業為模式識別與智慧型系統方向。主要從事於機器學習與深度學習在圖像處理以及地球物理領域內的相關套用研究，對機器學習相關算法有較深的理解。參與過多項機器學習相關工程項目，發表SCI期刊論文及會議論文數篇。曾獲得國家獎學金、數學建模一等獎、優秀畢業生等獎項和榮譽稱號。
3.1.2 邏輯斯蒂回歸算法思路 53
3.2 邏輯斯蒂函式 56
3.2.1 邏輯斯蒂函式的由來 56
3.2.2 邏輯斯蒂函式的優勢 58
3.3 邏輯斯蒂回歸的數學原理 59
3.3.1 邏輯斯蒂回歸的數學
形式 59
3.3.2 準確率和召回率 62
3.4 參數確定的方法 65
3.4.1 似然函式簡介 65
3.4.2 邏輯斯蒂回歸的損失
函式 66
3.5 多項邏輯斯蒂回歸 67
3.5.1 多分類問題的邏輯斯蒂
回歸 67
3.5.2 softmax函式 68
3.6 本章小結與代碼實現 69
3.7 本章話題：廣義線性模型 72
第4章 層層拷問：決策樹模型 77
4.1 模型思路與算法流程 78
4.1.1 決策樹的思路——
以讀心術遊戲為例 78
4.1.2 決策樹模型的基本流程 81
4.1.3 決策樹模型的關鍵問題 87
4.2 特徵選擇原則 87
4.2.1 信息增益原則 87
4.2.2 信息增益比原則 89
4.2.3 基尼係數原則 89
4.3 剪枝策略 90
4.4 常用決策樹模型：ID3與
C4.5算法 92
4.4.1 ID3算法 92
4.4.2 C4.5算法 92
4.5 多變數決策樹簡介 93
4.6 本章小結與代碼實現 94
4.7 本章話題：資訊理論與
特徵選擇 97
第5章 近朱者赤：k近鄰模型 101
5.1 模型的思路和特點 101
5.1.1 模型思路 101
5.1.2 懶惰學習與迫切學習 103
5.2 模型的相關性質 105
5.2.1 數學形式 105
5.2.2 損失函式與誤差 108
5.2.3 k近鄰模型的改進 109
5.3 距離函式與參數選擇 111
5.3.1 距離函式 111
5.3.2 參數選擇的影響 114
5.4 本章小結與代碼實現 115
5.5 本章話題：相似性度量 119
第6章 執果索因：樸素貝葉斯
模型 123
6.1 貝葉斯方法的基本概念 123
6.1.1 貝葉斯學派與頻率
學派 124
6.1.2 全機率公式與貝葉斯
公式 127
6.2 樸素貝葉斯的原理和方法 133
6.2.1 樸素貝葉斯的“樸素”
假設 133
6.2.2 拉普拉斯平滑 135
6.3 樸素貝葉斯算法的步驟與
流程 137
6.4 生成式模型與判別式模型 138
6.5 本章小結與代碼實現 138
6.6 本章話題：貝葉斯思維與
先驗概念 141
第7章 提綱挈領：線性判別分析與
主成分分析 144
7.1 線性降維的基本思路 144
7.2 LDA 146
7.2.1 投影的技巧 146
7.2.2 類內距離和類間距離 147
7.2.3 LDA的求解 149
7.3 PCA 151
7.3.1 基變換與特徵降維 151
7.3.2 方差最大化與PCA原理
推導 154
7.3.3 PCA的實現步驟 158
7.4 LDA與PCA：區別與
聯繫 158
7.5 本章小結與代碼實現 159
7.5.1 LDA實驗：鳶尾花
數據集降維分類 159
7.5.2 PCA實驗：手寫數字
數據集降維 161
7.6 本章話題：矩陣的直觀解釋
與套用 162
第8章 曲面平鋪：流形學習 166
8.1 流形與流形學習 166
8.2 Isomap的基本思路與
實現方法 170
8.2.1 測地距離的概念 170
8.2.2 計算測地距離：圖論中的
Floyd算法 172
8.2.3 由距離到坐標：多維尺度
變換方法 173
8.3 Isomap算法步驟 175
8.4 LLE的基本思路與
實現方法 175
8.4.1 LLE的基本思想 175
8.4.2 局部線性重構 176
8.5 LLE算法步驟 177
8.6 本章小結與代碼實現 178
8.7 本章話題：黎曼、非歐幾何
與流形感知 180
第9章 物以類聚：聚類算法 185
9.1 無監督方法概述 185
9.2 聚類的基本目標和評價
標準 187
9.2.1 聚類的基本目標 187
9.2.2 聚類的評價標準 188
9.3 基於中心的k-means
算法 191
9.3.1 k-means算法的基本
思路 191
9.3.2 k-means算法步驟 193
9.3.3 k-means算法的局
限性 195
9.4 層次聚類算法 196
9.4.1 層次聚類的基本原理 196
9.4.2 層次聚類的AGNES
算法 199
9.5 密度聚類算法：DBSCAN 200
9.5.1 DBSCAN算法的基本
思路 200
9.5.2 DBSCAN算法步驟 201
9.6 本章小結與代碼實現 203
9.7 本章話題：Science上的一種
巧妙聚類算法 205
第10章 字典重構：稀疏編碼 209
10.1 稀疏編碼的思路 209
10.1.1 神經生物學的發現 210
10.1.2 過完備性與稀疏性 210
10.2 稀疏編碼的數學形式 213
10.3 字典學習中的“字典” 215
10.3.1 傳統算法中的
“字典” 215
10.3.2 “字典”學習的意義 216
10.4 本章小結與代碼實現 217
10.5 本章話題：壓縮感知理論
簡介 220
第11章 教學相長：直推式支持
向量機 223
11.1 半監督學習簡介 223
11.2 T-SVM模型 227
11.2.1 T-SVM的基本思路 227
11.2.2 T-SVM算法步驟 228
11.3 本章小結與代碼實現 229
11.4 本章話題：不同樣本集場景
下的問題處理策略 233
第12章 群策群力：集成學習 236
12.1 自舉匯聚和提升 236
12.1.1 Bagging算法和Boosting
算法的基本思路 237
12.1.2 Bagging算法和Boosting
算法的區別與聯繫 240
12.2 Bagging算法的基本
步驟 241
12.3 Boosting算法的基本
步驟 242
12.4 Bagging算法：以隨機
森林算法為例 243
12.4.1 隨機森林算法 243
12.4.2 隨機森林算法中的
隨機性 244
12.5 Boosting算法：以Adaboost
算法為例 244
12.5.1 Adaboost算法的實現
步驟 245
12.5.2 Adaboost算法過程
分析 245
12.6 本章小結與代碼實現 246
12.7 本章話題：Adaboost算法
中的分步策略 249
第二篇 深度學習模型與方法
第13章 神經網路與深度學習：從感知機模型到阿爾法狗 254
13.1 感知機模型 256
13.1.1 感知機模型的基本原理
與數學形式 256
13.1.2 感知機模型的缺陷與
改進 260
13.2 人工神經網路 262
13.2.1 生物神經元與感知機
模型 262
13.2.2 人工神經網路方法
簡介 264
13.2.3 反向傳播算法 265
13.2.4 神經網路的優勢 267
13.3 需要深度學習的原因 268
13.4 神經網路模型的局限性 268
13.5 常用神經網路框架簡介 270
13.6 本章話題：人工智慧發展
大事年表 271
作者簡介
賈壯，畢業於清華大學自動化系，專業為模式識別與智慧型系統方向。主要從事於機器學習與深度學習在圖像處理以及地球物理領域內的相關套用研究，對機器學習相關算法有較深的理解。參與過多項機器學習相關工程項目，發表SCI期刊論文及會議論文數篇。曾獲得國家獎學金、數學建模一等獎、優秀畢業生等獎項和榮譽稱號。
