《機器學習中的機率統計：Python語言描述》是一本系統講解機器學習中的機率統計核心知識和計算技巧的圖書，由機械工業出版社出版。
基本介紹
- 中文名：機器學習中的機率統計：Python語言描述
- 作者：張雨萌
- 類別：科技
- 出版社：機械工業出版社
- 出版時間：2020年12月
- 頁數：276 頁
- 定價：79 元
- 開本：32 開
- 裝幀：平裝
- ISBN：9787111669357
內容簡介,目錄,
內容簡介
本書圍繞機器學習算法中涉及的機率統計知識展開介紹，沿著機率思想、變數分布、參數估計、隨機過程和統計推斷的知識主線進行講解，結合數學的本質內涵，用淺顯易懂懂和屑的語言講透深刻的數學思想，幫助讀者構建理論體系。同時，作者在講解的過程中注重套用場景的延伸，並利用Python工具無縫對接工程套用，幫助讀者學以致用。
全書共5章。
第1章以條件機率和獨立性作為切入點，幫助讀者建立認知機率世界的正確視角。
第2章介紹隨機變數的基礎概念和重要分布類型，並探討多元隨機變數間的重要關係。
第3章介紹極限思維以及蒙特卡羅方法，並重點分析極大似然估計方法以及有偏無偏等重放甩要性質，最後拓展到含有隱變數的參數估計問題，介紹EM算法的原理及其套用。
第4章由靜態的隨機變數過渡到動態的隨機過程，重點介紹馬爾可夫過程和隱馬爾可夫模型。第5章聚焦馬爾可夫鏈-蒙特卡羅方法，並列舉實例展示Metropolis-Hastings和Gibbs的具體採樣過程。
目錄
序
前言
第1章 機率思想：構建理論基礎 1
1.1 理論基石：條件機率、獨立性與貝葉斯 1
1.1.1 從機率到條件機率 1
1.1.2 條件機率的具體描述 2
1.1.3 條件機率的表達式分析 3
1.1.4 兩個事件的獨立性 4
1.1.5 從條件機率到全機率公式 5
1.1.6 聚焦貝葉斯公式 6
1.1.7 本質內涵：由因到果，由果推因 7
1.2 事件的關係：深入理解獨立性 8
1.2.1 重新梳理兩個事件的獨立性 8
1.2.2 不相容與獨立性 8
1.2.3 條件獨立 9
1.2.4 獨立與條件獨立 11
1.2.5 獨立重複實驗 11
第2章 變數分布：描述隨機謎迎整世界 13
2.1 離散型隨機變數：分布與數字特徵 13
2.1.1 從事件到隨機變數 13
2.1.2 離散型隨機變數及其要素 14
2.1.3 離散型隨機變數的分布列 15
2.1.4 分布列和機率質量函式 16
2.1.5 二項分布及二項隨機變數 17
2.1.6 幾何分布及幾何隨機變數 21
2.1.7 泊松分布及泊松隨機變數 24
2.2 連續型隨機變數：分布與數字特徵 27
2.2.1 機率密度函式 27
2.2.2 連續型隨機變數區希悼享舟間機率的計算 29
2.2.3 連續型隨機變數的期望與方差 29
2.2.4 常態分配及正態隨機變數 30
2.2.5 指數分布及指數隨機變數 33
2.2.6 均勻分布及其隨機變數 35
2.3 多元隨機變數（上）：聯合、邊緣與條件 38
2.3.1 實驗中引入多個隨機變數 38
2.3.2 聯合分布列 38
2.3.3 邊緣分布列 39
2.3.4 條件分布列 40
2.3.5 集中梳理核心的機率理論 44
2.4 多元隨機變數（下）：獨立與相關 46
2.4.1 隨機雄蜜戶頌變數與事件的獨立汽轎虹性 46
2.4.2 隨機變數之間的獨立性 47
2.4.3 獨立性示例 48
2.4.4 條件獨立的概念 48
2.4.5 獨立隨機變數的期望和方差 50
2.4.6 隨機變數的相關性分析及量化方法 52
2.4.7 協方差及協方差矩陣 52
2.4.8 相關係數的概念 54
2.5 多元隨機變數實踐：聚焦多元常態分配 55
2.5.1 再談相關性：基於二元標準常態分配 55
2.5.2 二元一般常態分配 57
2.5.3 聚焦相關係數 60
2.5.4 獨立和相關性的關係 64
2.6 多元高斯分布：參數特徵和幾何意義 66
2.6.1 從一元分布到多元分布 66
2.6.2 多元高斯分布的參數形式 67
2.6.3 二元高斯分布的具體示例 68
2.6.4 多元高斯分布的幾何特徵 71
2.6.5 二元高斯分布幾何特徵實例分析 74
第3章 參數估計：探尋最大可能 77
3.1 極限思維：大數定律與中心極限定理 77
3.1.1 一個背景話題 77
3.1.2 大數定律 78
3.1.3 大數定律的模擬 80
3.1.4 中心極限定理 83
3.1.5 中心極限定理的工程意義 84
3.1.6 中心極限定理的模擬 85
3.1.7 大數定律的套用：蒙特卡羅方法 86
3.2 推斷訂碑求未知：統計推斷的基本框架 89
3.2.1 進入統計學 89
3.2.2 統計推斷的例子 90
3.2.3 統計推斷中的一些重要概念 91
3.2.4 估計量的偏差與無偏估計 92
3.2.5 總體均值的估計 93
3.2.6 總體方差的估計 95
3.3 極大似然估計 100
3.3.1 極大似然估計法的引例 100
3.3.2 似然函式的由來 102
3.3.3 極大似然估計的思想 103
3.3.4 極大似然估計值的計算 105
3.3.5 簡單極大似然估計案例 106
3.3.6 高斯分布參數的極大似然估計 107
3.4 含有隱變數的參數估計問題 110
3.4.1 參數估計問題的回顧 110
3.4.2 新情況：場景中含有隱變數 111
3.4.3 疊代法：解決含有隱變數情形的拋硬幣問題 112
3.4.4 代碼實驗 115
3.5 機率漸增：EM算法的合理性 118
3.5.1 EM算法的背景介紹 119
3.5.2 先拋出EM算法的疊代公式 119
3.5.3 EM算法為什麼是有效的 120
3.6 探索EM公式的底層邏輯與由來 123
3.6.1 EM公式中的E步和M步 124
3.6.2 剖析EM算法的由來 124
3.7 探索高斯混合模型：EM 疊代實踐 127
3.7.1 高斯混合模型的引入 128
3.7.2 從混合模型的角度看內部機理 129
3.7.3 高斯混合模型的參數估計 131
3.8 高斯混合模型的參數求解 132
3.8.1 利用 EM 疊代模型參數的思路 132
3.8.2 參數估計示例 136
3.8.3 高斯混合模型的套用場景 139
第4章 隨機過程：聚焦動態特徵 145
4.1 由靜向動：隨機過程導引 145
4.1.1 隨機過程場景舉例1：博彩 146
4.1.2 隨機過程場景舉例2：股價的變化 150
4.1.3 隨機過程場景舉例3：股價變化過程的展現 152
4.1.4 兩類重要的隨機過程概述 154
4.2 狀態轉移：初識馬爾可夫鏈 155
4.2.1 馬爾可夫鏈三要素 155
4.2.2 馬爾可夫性：靈魂特徵 156
4.2.3 轉移機率和狀態轉移矩陣 157
4.2.4 馬爾可夫鏈性質的總結 158
4.2.5 一步到達與多步轉移的含義 159
4.2.6 多步轉移與矩陣乘法 160
4.2.7 路徑機率問題 163
4.3 變與不變：馬爾可夫鏈的極限與穩態 164
4.3.1 極限與初始狀態無關的情況 164
4.3.2 極限依賴於初始狀態的情況 165
4.3.3 吸收態與收斂分析 167
4.3.4 可達與常返 168
4.3.5 周期性問題 171
4.3.6 馬爾可夫鏈的穩態分析和判定 172
4.3.7 穩態的求法 174
4.4 隱馬爾可夫模型：明暗兩條線 176
4.4.1 從馬爾可夫鏈到隱馬爾可夫模型 176
4.4.2 典型實例1：盒子摸球實驗 177
4.4.3 典型實例2：小寶寶的日常生活 180
4.4.4 隱馬爾可夫模型的外在表征 181
4.4.5 推動模型運行的核心三要素 182
4.4.6 關鍵性質：齊次馬爾可夫性和觀測獨立性 183
4.5 機率估計：隱馬爾可夫模型觀測序列描述 183
4.5.1 隱馬爾可夫模型的研究內容 183
4.5.2 模型研究問題的描述 185
4.5.3 一個直觀的思路 186
4.5.4 更優的方法：前向機率算法 187
4.5.5 機率估計實踐 190
4.5.6 代碼實踐 192
4.6 狀態解碼：隱馬爾可夫模型隱狀態揭秘 194
4.6.1 隱狀態解碼問題的描述 194
4.6.2 最大路徑機率與維特比算法 195
4.6.3 套用維特比算法進行解碼 197
4.6.4 維特比算法的案例實踐 199
4.6.5 代碼實踐 202
4.7 連續域上的無限維：高斯過程 204
4.7.1 高斯過程的一個實際例子 205
4.7.2 高斯過程的核心要素和嚴謹描述 206
4.7.3 徑向基函式的代碼演示 207
4.7.4 高斯過程回歸原理詳解 208
4.7.5 高斯過程回歸代碼演示 210
第5章 統計推斷：貫穿近似策略 215
5.1 統計推斷的基本思想和分類 215
5.1.1 統計推斷的根源和場景 215
5.1.2 後驗分布：推斷過程的關注重點 216
5.1.3 精確推斷和近似推斷 216
5.1.4 確定性近似：變分推斷概述 217
5.2 隨機近似方法 219
5.2.1 蒙特卡羅方法的理論支撐 219
5.2.2 隨機近似的核心：蒙特卡羅 220
5.2.3 接受-拒絕採樣的問題背景 221
5.2.4 接受-拒絕採樣的方法和步驟 221
5.2.5 接受-拒絕採樣的實踐 222
5.2.6 接受-拒絕採樣方法背後的內涵挖掘 225
5.2.7 重要性採樣 226
5.2.8 兩種採樣方法的問題及思考 227
5.3 採樣絕佳途徑：藉助馬爾可夫鏈的穩態性質 228
5.3.1 馬爾可夫鏈回顧 228
5.3.2 核心：馬爾可夫鏈的平穩分布 229
5.3.3 馬爾可夫鏈進入穩態的轉移過程 231
5.3.4 穩態及轉移過程演示 231
5.3.5 馬爾可夫鏈穩態的價值和意義 235
5.3.6 基於馬爾可夫鏈進行採樣的原理分析 236
5.3.7 採樣過程實踐與分析 238
5.3.8 一個顯而易見的問題和難點 242
5.4 馬爾可夫鏈-蒙特卡羅方法詳解 242
5.4.1 穩態判定：細緻平穩條件 243
5.4.2 Metropolis-Hastings採樣方法的原理 244
5.4.3 如何理解隨機遊走疊加接受機率 245
5.4.4 如何實現隨機遊走疊加接受機率 247
5.4.5 建議轉移機率矩陣Q的設計 247
5.4.6 Metropolis-Hastings方法的步驟和代碼演示 251
5.5 Gibbs採樣方法簡介 253
5.5.1 Gibbs方法核心流程 253
5.5.2 Gibbs採樣的合理性 255
5.5.3 Gibbs採樣代碼實驗 256
2.2 連續型隨機變數：分布與數字特徵 27
2.2.1 機率密度函式 27
2.2.2 連續型隨機變數區間機率的計算 29
2.2.3 連續型隨機變數的期望與方差 29
2.2.4 常態分配及正態隨機變數 30
2.2.5 指數分布及指數隨機變數 33
2.2.6 均勻分布及其隨機變數 35
2.3 多元隨機變數（上）：聯合、邊緣與條件 38
2.3.1 實驗中引入多個隨機變數 38
2.3.2 聯合分布列 38
2.3.3 邊緣分布列 39
2.3.4 條件分布列 40
2.3.5 集中梳理核心的機率理論 44
2.4 多元隨機變數（下）：獨立與相關 46
2.4.1 隨機變數與事件的獨立性 46
2.4.2 隨機變數之間的獨立性 47
2.4.3 獨立性示例 48
2.4.4 條件獨立的概念 48
2.4.5 獨立隨機變數的期望和方差 50
2.4.6 隨機變數的相關性分析及量化方法 52
2.4.7 協方差及協方差矩陣 52
2.4.8 相關係數的概念 54
2.5 多元隨機變數實踐：聚焦多元常態分配 55
2.5.1 再談相關性：基於二元標準常態分配 55
2.5.2 二元一般常態分配 57
2.5.3 聚焦相關係數 60
2.5.4 獨立和相關性的關係 64
2.6 多元高斯分布：參數特徵和幾何意義 66
2.6.1 從一元分布到多元分布 66
2.6.2 多元高斯分布的參數形式 67
2.6.3 二元高斯分布的具體示例 68
2.6.4 多元高斯分布的幾何特徵 71
2.6.5 二元高斯分布幾何特徵實例分析 74
第3章 參數估計：探尋最大可能 77
3.1 極限思維：大數定律與中心極限定理 77
3.1.1 一個背景話題 77
3.1.2 大數定律 78
3.1.3 大數定律的模擬 80
3.1.4 中心極限定理 83
3.1.5 中心極限定理的工程意義 84
3.1.6 中心極限定理的模擬 85
3.1.7 大數定律的套用：蒙特卡羅方法 86
3.2 推斷未知：統計推斷的基本框架 89
3.2.1 進入統計學 89
3.2.2 統計推斷的例子 90
3.2.3 統計推斷中的一些重要概念 91
3.2.4 估計量的偏差與無偏估計 92
3.2.5 總體均值的估計 93
3.2.6 總體方差的估計 95
3.3 極大似然估計 100
3.3.1 極大似然估計法的引例 100
3.3.2 似然函式的由來 102
3.3.3 極大似然估計的思想 103
3.3.4 極大似然估計值的計算 105
3.3.5 簡單極大似然估計案例 106
3.3.6 高斯分布參數的極大似然估計 107
3.4 含有隱變數的參數估計問題 110
3.4.1 參數估計問題的回顧 110
3.4.2 新情況：場景中含有隱變數 111
3.4.3 疊代法：解決含有隱變數情形的拋硬幣問題 112
3.4.4 代碼實驗 115
3.5 機率漸增：EM算法的合理性 118
3.5.1 EM算法的背景介紹 119
3.5.2 先拋出EM算法的疊代公式 119
3.5.3 EM算法為什麼是有效的 120
3.6 探索EM公式的底層邏輯與由來 123
3.6.1 EM公式中的E步和M步 124
3.6.2 剖析EM算法的由來 124
3.7 探索高斯混合模型：EM 疊代實踐 127
3.7.1 高斯混合模型的引入 128
3.7.2 從混合模型的角度看內部機理 129
3.7.3 高斯混合模型的參數估計 131
3.8 高斯混合模型的參數求解 132
3.8.1 利用 EM 疊代模型參數的思路 132
3.8.2 參數估計示例 136
3.8.3 高斯混合模型的套用場景 139
第4章 隨機過程：聚焦動態特徵 145
4.1 由靜向動：隨機過程導引 145
4.1.1 隨機過程場景舉例1：博彩 146
4.1.2 隨機過程場景舉例2：股價的變化 150
4.1.3 隨機過程場景舉例3：股價變化過程的展現 152
4.1.4 兩類重要的隨機過程概述 154
4.2 狀態轉移：初識馬爾可夫鏈 155
4.2.1 馬爾可夫鏈三要素 155
4.2.2 馬爾可夫性：靈魂特徵 156
4.2.3 轉移機率和狀態轉移矩陣 157
4.2.4 馬爾可夫鏈性質的總結 158
4.2.5 一步到達與多步轉移的含義 159
4.2.6 多步轉移與矩陣乘法 160
4.2.7 路徑機率問題 163
4.3 變與不變：馬爾可夫鏈的極限與穩態 164
4.3.1 極限與初始狀態無關的情況 164
4.3.2 極限依賴於初始狀態的情況 165
4.3.3 吸收態與收斂分析 167
4.3.4 可達與常返 168
4.3.5 周期性問題 171
4.3.6 馬爾可夫鏈的穩態分析和判定 172
4.3.7 穩態的求法 174
4.4 隱馬爾可夫模型：明暗兩條線 176
4.4.1 從馬爾可夫鏈到隱馬爾可夫模型 176
4.4.2 典型實例1：盒子摸球實驗 177
4.4.3 典型實例2：小寶寶的日常生活 180
4.4.4 隱馬爾可夫模型的外在表征 181
4.4.5 推動模型運行的核心三要素 182
4.4.6 關鍵性質：齊次馬爾可夫性和觀測獨立性 183
4.5 機率估計：隱馬爾可夫模型觀測序列描述 183
4.5.1 隱馬爾可夫模型的研究內容 183
4.5.2 模型研究問題的描述 185
4.5.3 一個直觀的思路 186
4.5.4 更優的方法：前向機率算法 187
4.5.5 機率估計實踐 190
4.5.6 代碼實踐 192
4.6 狀態解碼：隱馬爾可夫模型隱狀態揭秘 194
4.6.1 隱狀態解碼問題的描述 194
4.6.2 最大路徑機率與維特比算法 195
4.6.3 套用維特比算法進行解碼 197
4.6.4 維特比算法的案例實踐 199
4.6.5 代碼實踐 202
4.7 連續域上的無限維：高斯過程 204
4.7.1 高斯過程的一個實際例子 205
4.7.2 高斯過程的核心要素和嚴謹描述 206
4.7.3 徑向基函式的代碼演示 207
4.7.4 高斯過程回歸原理詳解 208
4.7.5 高斯過程回歸代碼演示 210
第5章 統計推斷：貫穿近似策略 215
5.1 統計推斷的基本思想和分類 215
5.1.1 統計推斷的根源和場景 215
5.1.2 後驗分布：推斷過程的關注重點 216
5.1.3 精確推斷和近似推斷 216
5.1.4 確定性近似：變分推斷概述 217
5.2 隨機近似方法 219
5.2.1 蒙特卡羅方法的理論支撐 219
5.2.2 隨機近似的核心：蒙特卡羅 220
5.2.3 接受-拒絕採樣的問題背景 221
5.2.4 接受-拒絕採樣的方法和步驟 221
5.2.5 接受-拒絕採樣的實踐 222
5.2.6 接受-拒絕採樣方法背後的內涵挖掘 225
5.2.7 重要性採樣 226
5.2.8 兩種採樣方法的問題及思考 227
5.3 採樣絕佳途徑：藉助馬爾可夫鏈的穩態性質 228
5.3.1 馬爾可夫鏈回顧 228
5.3.2 核心：馬爾可夫鏈的平穩分布 229
5.3.3 馬爾可夫鏈進入穩態的轉移過程 231
5.3.4 穩態及轉移過程演示 231
5.3.5 馬爾可夫鏈穩態的價值和意義 235
5.3.6 基於馬爾可夫鏈進行採樣的原理分析 236
5.3.7 採樣過程實踐與分析 238
5.3.8 一個顯而易見的問題和難點 242
5.4 馬爾可夫鏈-蒙特卡羅方法詳解 242
5.4.1 穩態判定：細緻平穩條件 243
5.4.2 Metropolis-Hastings採樣方法的原理 244
5.4.3 如何理解隨機遊走疊加接受機率 245
5.4.4 如何實現隨機遊走疊加接受機率 247
5.4.5 建議轉移機率矩陣Q的設計 247
5.4.6 Metropolis-Hastings方法的步驟和代碼演示 251
5.5 Gibbs採樣方法簡介 253
5.5.1 Gibbs方法核心流程 253
5.5.2 Gibbs採樣的合理性 255
5.5.3 Gibbs採樣代碼實驗 256
