統計模式識別（第三版）

《統計模式識別（第三版）》是2015年1月電子工業出版社出版的圖書，作者是Andrew R. Webb(A. R. 韋布), Keith D. Copsey(K. D. 科普西)。

基本介紹

• 書名：統計模式識別（第三版）
• 作者：Andrew R. Webb
  Keith D. Copsey 
• 原作品：Statistical Pattern Recognition 
• 譯者：王萍 
• ISBN：9787121250125 
• 出版社：電子工業出版社
• 出版時間：2015年1月
• 千字數：800

內容簡介

本書系統地介紹統計模式識別的理論和技術，並討論機器學習領域的諸多問題和相關算法，反映模式識別理論和技術的最新研究進展。其中，大部分識別和分類問題取材於工程學、統計學、計算機科學和社會學等領域的相關套用，並配有套用研究實例。與前版相比，充實或新增了關於估計機率密度的貝葉斯方法、估計機率密度的新的非參數方法、新的分類模型、譜聚類問題、分類規則的歸納法、複雜網路等方面的介紹。

目錄

第1章 統計模式識別緒論

1.1 統計模式識別

1.1.1 引言

1.1.2 基本模型

1.2 解決模式識別問題的步驟

1.3 問題討論

1.4 統計模式識別的方法

1.5 基本決策理論

1.5.1 最小錯誤貝葉斯決策規則

1.5.2 最小錯誤貝葉斯決策規則——拒絕分類

1.5.3 最小風險貝葉斯決策規則

1.5.4 最小風險貝葉斯決策規則——拒絕分類

1.5.5 NeymanPearson決策規則

1.5.6 最小最大決策

1.5.7 討論

1.6 判別函式

1.6.1 引言

1.6.2 線性判別函式

1.6.3 分段線性判別函式

1.6.4 廣義線性判別函式

1.6.5 小結

1.7 多重回歸

1.8 本書梗概

1.9 提示及參考文獻

習題

第2章 密度估計的參數法

2.1 引言

2.2 分布參數估計

2.2.1 估計法

2.2.2 預測法

2.3 高斯分類器

2.3.1 詳述

2.3.2 高斯分類器插入估計的推導

2.3.3 套用研究舉例

2.4 處理高斯分類器的奇異問題

2.4.1 引言

2.4.2 樸素貝葉斯

2.4.3 投影到子空間

2.4.4 線性判別函式

2.4.5 正則化判別分析

2.4.6 套用研究舉例

2.4.7 拓展研究

2.4.8 小結

2.5 有限混合模型

2.5.1 引言

2.5.2 混合判別模型

2.5.3 正態混合模型的參數估計

2.5.4 正態混合模型協方差矩陣約束

2.5.5 混合模型分量的數量

2.5.6 期望最大化算法下的極大似然估計

2.5.7 套用研究舉例

2.5.8 拓展研究

2.5.9 小結

2.6 套用研究

2.7 總結和討論

2.8 建議

2.9 提示及參考文獻

習題

第3章 密度估計的貝葉斯法

3.1 引言

3.1.1 基本原理

3.1.2 遞歸計算

3.1.3 比例性

3.2 解析解

3.2.1 共軛先驗機率

3.2.2 方差已知的常態分配的均值估計

3.2.3 多元常態分配的均值及協方差矩陣估計

3.2.4 未知類先驗機率的情形

3.2.5 小結

3.3 貝葉斯採樣方案

3.3.1 引言

3.3.2 梗概

3.3.3 貝葉斯分類器的採樣類型

3.3.4 拒絕採樣

3.3.5 均勻比

3.3.6 重要性採樣

3.4 馬爾可夫鏈蒙特卡羅方法

3.4.1 引言

3.4.2 吉布斯(Gibbs)採樣器

3.4.3 MetropolisHastings算法

3.4.4 數據擴充

3.4.5 可逆跳躍馬爾可夫鏈蒙特卡羅方法

3.4.6 切片採樣

3.4.7 MCMC舉例——正弦噪聲估計

3.4.8 小結

3.4.9 提示及參考文獻

3.5 貝葉斯判別方法

3.5.1 標記訓練數據

3.5.2 無類別標籤的訓練數據

3.6 連續蒙特卡羅採樣

3.6.1 引言

3.6.2 基本方法

3.6.3 小結

3.7 變分貝葉斯方法

3.7.1 引言

3.7.2 描述

3.7.3 分解為因子的變分近似

3.7.4 簡單的例子

3.7.5 模型選擇中的運用

3.7.6 拓展研究與套用

3.7.7 小結

3.8 近似貝葉斯計算

3.8.1 引言

3.8.2 ABC拒絕採樣

3.8.3 ABC MCMC採樣

3.8.4 ABC總體蒙特卡羅採樣

3.8.5 模型選擇

3.8.6 小結

3.9 套用研究舉例

3.10套用研究

3.11總結和討論

3.12建議

3.13提示及參考文獻

習題

第4章 密度估計的非參數法

4.1 引言

4.1.1 密度估計的基本性質

4.2 k近鄰法

4.2.1 k近鄰分類器

4.2.2 推導

4.2.3 距離度量的選擇

4.2.4 最近鄰法決策規則的性質

4.2.5 線性逼近排除搜尋算法

4.2.6 分支定界搜尋算法： kd樹

4.2.7 分支定界搜尋算法： ball樹

4.2.8 剪輯方法

4.2.9 套用研究舉例

4.2.10拓展研究

4.2.11小結

4.3 直方圖法

4.3.1 直方圖自適應數據

4.3.2 獨立性假設（樸素貝葉斯）

4.3.3 Lancaster模型

4.3.4 最大權值相關樹

4.3.5 貝葉斯網路

4.3.6 套用研究舉例： 樸素貝葉斯文本分類

4.3.7 小結

4.4 核函式方法

4.4.1 有偏估計

4.4.2 延伸到多元

4.4.3 平滑參數的選擇

4.4.4 核函式的選擇

4.4.5 套用研究舉例

4.4.6 拓展研究

4.4.7 小結

4.5 用基函式展開

4.6 copula方法

4.6.1 引言

4.6.2 數學基礎

4.6.3 copula函式

4.6.4 copula機率密度函式的估計

4.6.5 簡單舉例

4.6.6 小結

4.7 套用研究

4.7.1 比較研究

4.8 總結和討論

4.9 建議

4.10提示及參考文獻

習題

第5章 線性判別分析

5.1 引言

5.2 兩類問題算法

5.2.1 總體思路

5.2.2 感知準則

5.2.3 Fisher準則

5.2.4 最小均方誤差法

5.2.5 拓展研究

5.2.6 小結

5.3 多類算法

5.3.1 總體思路

5.3.2 錯誤修正法

5.3.3 Fisher準則：線性判別分析

5.3.4 最小均方誤差法

5.3.5 正則化

5.3.6 套用研究實例

5.3.7 拓展研究

5.3.8 小結

5.4 支持向量機

5.4.1 引言

5.4.2 兩類線性可分數據問題

5.4.3 兩類線性不可分數據問題

5.4.4 多類支持向量機

5.4.5 支持向量機回歸

5.4.6 具體實施

5.4.7 套用研究舉例

5.4.8 小結

5.5 logistic判別

5.5.1 兩類問題

5.5.2 極大似然估計

5.5.3 多類logistic判別

5.5.4 套用研究舉例

5.5.5 拓展研究

5.5.6 小結

5.6 套用研究

5.7 總結和討論

5.8 建議

5.9 提示及參考文獻

習題

第6章 非線性判別分析——核與投影法

6.1 引言

6.2 徑向基函式

6.2.1 引言

6.2.2 模型的確定

6.2.3 指定函式的形式

6.2.4 中心位置

6.2.5 平滑參數

6.2.6 權值的計算

6.2.7 模型階次的選擇

6.2.8 簡單徑向基函式

6.2.9 一些調整

6.2.10徑向基函式的性質

6.2.11套用研究舉例

6.2.12拓展研究

6.2.13小結

6.3 非線性支持向量機

6.3.1 引言

6.3.2 二分類

6.3.3 核函式的類型

6.3.4 模型選擇

6.3.5 多類支持向量機

6.3.6 機率估計

6.3.7 非線性回歸

6.3.8 套用研究舉例

6.3.9 拓展研究

6.3.10小結

6.4 多層感知器

6.4.1 引言

6.4.2 多層感知器結構的確定

6.4.3 多層感知器權值的確定

6.4.4 多層感知器的建模能力

6.4.5 logistic分類

6.4.6 套用研究舉例

6.4.7 貝葉斯多層感知器網路

6.4.8 投影尋蹤

6.4.9 小結

6.5 套用研究

6.6 總結和討論

6.7 建議

6.8 提示及參考文獻

習題

第7章 規則和決策樹歸納法

7.1 引言

7.2 決策樹

7.2.1 引言

7.2.2 決策樹的構造

7.2.3 拆分規則的選擇

7.2.4 終止拆分過程

7.2.5 為終端節點分配類標籤

7.2.6 決策樹剪枝（含實施示例）

7.2.7 決策樹構造方法

7.2.8 其他問題

7.2.9 套用研究舉例

7.2.10拓展研究

7.2.11小結

7.3 規則歸納

7.3.1 引言

7.3.2 從決策樹生成規則

7.3.3 用連續覆蓋算法進行規則歸納

7.3.4 套用研究舉例

7.3.5 拓展研究

7.3.6 小結

7.4 多元自適應回歸樣條

7.4.1 引言

7.4.2 遞歸分割模型

7.4.3 套用研究舉例

7.4.4 拓展研究

7.4.5 小結

7.5 套用研究

7.6 總結和討論

7.7 建議

7.8 提示及參考文獻

習題

第8章 組合方法

8.1 引言

8.2 分類器組合方案特性

8.2.1 特徵空間

8.2.2 層次

8.2.3 訓練程度

8.2.4 成員分類器的形式

8.2.5 結構

8.2.6 最佳化

8.3 數據融合

8.3.1 體系結構

8.3.2 貝葉斯方法

8.3.3 奈曼皮爾遜(NeymanPearson)公式

8.3.4 可訓練規則

8.3.5 固定規則

8.4 分類器組合方法

8.4.1 乘積規則

8.4.2 和式規則

8.4.3 最小、最大及中值組合分類器

8.4.4 多數表決

8.4.5 Borda數

8.4.6 在類別預測上訓練組合分類器

8.4.7 疊加歸納

8.4.8 專家混合器

8.4.9 bagging

8.4.10boosting

8.4.11隨機森林

8.4.12模型平均

8.4.13方法小結

8.4.14套用研究舉例

8.4.15拓展研究

8.5 套用研究

8.6 總結和討論

8.7 建議

8.8 提示及參考文獻

習題

第9章 性能評價

9.1 引言

9.2 性能評價

9.2.1 性能測度

9.2.2 判別力

9.2.3 可靠性

9.2.4 用於性能評價的ROC曲線

9.2.5 總體漂移和感測漂移

9.2.6 套用研究舉例

9.2.7 拓展研究

9.2.8 小結

9.3 分類器性能的比較

9.3.1 哪種方法最好

9.3.2 統計檢驗

9.3.3 錯分代價不定情況下的比較規則

9.3.4 套用研究舉例

9.3.5 拓展研究

9.3.6 小結

9.4 套用研究

9.5 總結和討論

9.6 建議

9.7 提示及參考文獻

習題

第10章 特徵選擇與特徵提取

10.1 引言

10.2 特徵選擇

10.2.1 引言

10.2.2 對特徵選擇方法的表述

10.2.3 評估方法

10.2.4 選擇特徵子集的搜尋算法

10.2.5 全搜尋： 分支定界法

10.2.6 順序搜尋

10.2.7 隨機搜尋

10.2.8 馬爾可夫覆蓋

10.2.9 特徵選擇的穩定性

10.2.10套用研究舉例

10.2.11拓展研究

10.2.12小結

10.3 線性特徵提取

10.3.1 主成分分析

10.3.2 KarhunenLoève變換

10.3.3 套用研究舉例

10.3.4 拓展研究

10.3.5 小結

10.4 多維尺度分析

10.4.1 經典尺度分析

10.4.2 計量多維尺度

10.4.3 次序尺度分析

10.4.4 算法

10.4.5 用於特徵提取的多維尺度分析

10.4.6 套用研究舉例

10.4.7 拓展研究

10.4.8 小結

10.5 套用研究

10.6 總結和討論

10.7 建議

10.8 提示及參考文獻

習題

第11章 聚類

11.1 引言

11.2 分層聚類法

11.2.1 單連結方法

11.2.2 完全連結方法

11.2.3 平方和方法

11.2.4 通用合併算法

11.2.5 分層聚類法的性質

11.2.6 套用研究舉例

11.2.7 小結

11.3 快速分類

11.4 混合模型

11.4.1 模型描述

11.4.2 套用研究舉例

11.5 平方和方法

11.5.1 聚類準則

11.5.2 聚類算法

11.5.3 矢量量化

11.5.4 套用研究舉例

11.5.5 拓展研究

11.5.6 小結

11.6 譜聚類

11.6.1 圖論初步

11.6.2 相似矩陣

11.6.3 聚類套用

11.6.4 譜聚類算法

11.6.5 拉普拉斯矩陣的形式

11.6.6 套用研究舉例

11.6.7 拓展研究

11.6.8 小結

11.7 聚類有效性

11.7.1 引言

11.7.2 統計檢驗

11.7.3 缺失類結構

11.7.4 各聚類的有效性

11.7.5 分級聚類

11.7.6 各單聚類的有效性

11.7.7 劃分

11.7.8 相關準則

11.7.9 選擇聚類個數

11.8 套用研究

11.9 總結和討論

11.10建議

11.11提示及參考文獻

習題

第12章 複雜網路

12.1 引言

12.1.1 特徵

12.1.2 屬性

12.1.3 問題闡述

12.1.4 描述性特徵

12.1.5 概要

12.2 網路的數學描述

12.2.1 圖矩陣

12.2.2 連通性

12.2.3 距離測度

12.2.4 加權網路

12.2.5 中心測度

12.2.6 隨機圖

12.3 社區發現

12.3.1 聚類方法

12.3.2 GirvanNewman算法

12.3.3 模組化方法

12.3.4 局部模組化

12.3.5 小集團過濾

12.3.6 套用研究舉例

12.3.7 拓展研究

12.3.8 小結

12.4 鏈路預測

12.4.1 鏈路預測方法

12.4.2 套用研究舉例

12.4.3 拓展研究

12.5 套用研究

12.6 總結和討論

12.7 建議

12.8 提示及參考文獻

習題

第13章 其他論題

13.1 模型選擇

13.1.1 相互獨立的訓練集與測試集

13.1.2 交叉驗證

13.1.3 貝葉斯觀點

13.1.4 Akaike信息準則

13.1.5 最短描述長度

13.2 缺值數據

13.3 離群值檢測和魯棒方法

13.4 連續變數與離散變數的混合

13.5 結構風險最小化和VapnikChervonenkis維數

13.5.1 期望風險邊界

13.5.2 VapnikChervonenkis維數

參考文獻