數據分析與數據挖掘(2023年電子工業出版社出版的圖書)

《數據分析與數據挖掘》是2023年電子工業出版社出版的圖書，作者是姜維。

基本介紹

• 中文名：數據分析與數據挖掘
• 作者：姜維
• 出版社：電子工業出版社
• 出版時間：2023年2月
• 頁數：435 頁
• 定價：89.00 元
• 開本：16 開
• ISBN：9787121447433

內容簡介

本書重點講述統計數據分析方法和數據挖掘技術，在大數據時代和人工智慧時代，數據驅動的知識抽取技術成為一項重要學習和研究內容。本書採用理論和舉例相結合的方式進行數據分析和數據挖掘知識講解，並配套《數據分析與數據挖掘建模工具》一書，便於理論和實踐相結合。書中內容包括統計檢驗、方差分析、回歸分析、關聯分析、分類模型、聚類模型、離群點分析等典型的數據分析和數據挖掘方法。

圖書目錄

第1章 數據分析與數據挖掘基礎 1

1．1 數據分析與數據挖掘需求 1

1．1．1 數據分析與數據挖掘 1

1．1．2 大數據處理需求 2

1．1．3 數據分析誤區與隱私問題 3

1．2 數據分析與數據挖掘的工作過程 3

1．2．1 數據分析的主要工作過程 3

1．2．2 數據收集 5

1．2．3 數據展示 6

1．3 數據的組織和數據的類型 7

1．3．1 數據的一般組織形式 7

1．3．2 數據類型 8

1．3．3 分類數據的編碼 9

1．4 數據的常用描述性統計量 11

1．4．1 數據的中心趨勢 11

1．4．2 數據的離散程度 12

1．4．3 數據的形態統計量 15

1．5 數據的基本描述性統計分析 18

1．5．1 數據的描述性統計 18

1．5．2 五數概括與盒圖 19

1．5．3 數據的描述性統計圖 20

1．6 本章小結 22

本章概念與關鍵字 22

練習與思考 23

第2章 數據抽樣與推斷檢驗 24

2．1 隨機變數機率分布 24

2．1．1 機率分布 24

2．1．2 常態分配 26

2．1．3 二項分布與泊松分布 28

2．1．4 幾何分布與超幾何分布 29

2．2 抽樣統計分析 31

2．2．1 抽樣的相關概念 31

2．2．2 機率抽樣的典型方法 33

2．2．3 非隨機抽樣的典型方法 34

2．3 基本抽樣分布 34

2．3．1 經驗分布、理論分布與抽樣分布 34

2．3．2 三大抽樣分布 36

2．3．3 小機率事件 38

2．4 常用的抽樣分布與區間估計 40

2．4．1 常用的統計量抽樣分布 40

2．4．2 置信區間與區間估計 42

2．5 常用的參數檢驗 45

2．5．1 假設檢驗一般過程 45

2．5．2 常用的參數檢驗統計量 47

2．6 常用的單樣本非參數檢驗 48

2．6．1 卡方檢驗 48

2．6．2 二項分布檢驗 49

2．6．3 固定參數的超幾何分布檢驗 49

2．6．4 遊程檢驗 50

2．6．5 單樣本K-S檢驗 54

2．7 本章小結 56

本章概念與關鍵字 57

練習與思考 57

第3章 可視化圖與分組檢驗 59

3．1 數據的常用可視化圖分析 59

3．1．1 數據的常用可視化圖 59

3．1．2 基於圖的可視化觀測一般過程 62

3．2 均值比較和t檢驗 62

3．2．1 分組統計 62

3．2．2 數據標準化與Z-Score 63

3．2．3 單樣本t檢驗 64

3．2．4 兩獨立樣本t檢驗 65

3．2．5 兩配對樣本t檢驗 67

3．3 方差齊性檢驗 68

3．3．1 Levene方差齊性檢驗 68

3．3．2 基於F檢驗的方差齊性檢驗 69

3．3．3 Brown-Forsythe方差齊性檢驗 70

3．3．4 Bartlett’s方差齊性檢驗 70

3．4 兩獨立樣本的非參數檢驗 71

3．4．1 Mann-Whitney U檢驗 71

3．4．2 兩獨立樣本K-S檢驗 74

3．4．3 兩獨立樣本遊程檢驗 76

3．4．4 兩獨立樣本Moses特別反應檢驗 77

3．4．5 兩獨立樣本Brown-Mood中位數

檢驗 78

3．5 兩配對樣本的非參數檢驗 81

3．5．1 兩配對樣本符號檢驗 81

3．5．2 中位數、分位數及比例的符號

檢驗 82

3．5．3 兩配對樣本Wilcoxon符號秩

檢驗 83

3．5．4 Wilcoxon符號秩單樣本檢驗 85

3．5．5 兩配對樣本McNemar檢驗 86

3．5．6 邊緣齊性檢驗 88

3．6 多樣本的非參數檢驗 88

3．6．1 多獨立樣本中位數檢驗 88

3．6．2 多獨立樣本Kruskal-Wallis檢驗 90

3．6．3 多獨立樣本Jonckheere-Terpstra

檢驗 91

3．6．4 多配對樣本Friedman檢驗 94

3．6．5 多配對樣本Kendall協同係數

檢驗 96

3．6．6 多配對樣本Cochran’s Q檢驗 97

3．7 本章小結 98

本章概念與關鍵字 99

練習與思考 99

第4章 方差分析與相關性分析 102

4．1 方差分析 102

4．1．1 方差分析中的變數 102

4．1．2 單因素方差分析 103

4．1．3 單因素方差Brown-Forsythe

檢驗 105

4．1．4 單因素方差Welch’s t檢驗 106

4．1．5 無互動作用的雙因素方差分析 107

4．1．6 有互動作用的雙因素方差分析 109

4．2 Post Hoc檢驗 111

4．2．1 LSD檢驗 111

4．2．2 Studentized極差分布 112

4．2．3 Tukey’s Range檢驗 113

4．2．4 Tukey-Kramer檢驗 115

4．2．5 SNK檢驗 117

4．2．6 其他幾種常用檢驗方法 118

4．3 連續屬性數據的相關性分析 119

4．3．1 協方差的線性相關性度量 119

4．3．2 相關係數的線性相關性度量 122

4．3．3 Spearman秩相關係數 124

4．4 離散屬性相關性分析 126

4．4．1 交叉列聯表分析 126

4．4．2 用卡方檢驗進行離散相關性分析 127

4．4．3 列聯表上常用的指標 128

4．4．4 Fisher’s exact檢驗 129

4．5 本章小結 131

本章概念與關鍵字 132

練習與思考 132

第5章 數據的預處理與距離分析 134

5．1 數據的預處理 134

5．1．1 數據清理 134

5．1．2 數據集成 136

5．1．3 數據變換 137

5．1．4 數據歸約 137

5．2 數據的常用組織方式 138

5．2．1 數據的常用邏輯組織 138

5．2．2 數據的常用物理組織 139

5．2．3 高精度計算與矩陣計算 139

5．2．4 程式語言、軟體工具 140

5．3 相似度計算與距離分析 140

5．3．1 相似度與距離的轉換 140

5．3．2 閔可夫斯基距離 143

5．3．3 馬氏距離 145

5．3．4 混合屬性的相似度與距離 147

5．4 kNN分類模型 148

5．4．1 kNN分類模型概述 148

5．4．2 距離加權kNN分類模型 150

5．5 參數的點估計 151

5．5．1 原點矩與中心矩 151

5．5．2 矩估計法 152

5．5．3 極大似然估計法 153

5．6 本章小結 156

本章概念與關鍵字 156

練習與思考 156

第6章 回歸分析 158

6．1 一元線性回歸 158

6．1．1 一元線性回歸問題描述 158

6．1．2 一元線性回歸模型與求解 159

6．1．3 確認回歸方程的精度 161

6．1．4 總體回歸的方差分析 162

6．1．5 殘差分析 164

6．1．6 回歸方程參數檢驗 167

6．1．7 回歸方程預測與控制 168

6．2 多元線性回歸 170

6．2．1 多元線性回歸問題描述 170

6．2．2 多元線性回歸模型與求解 172

6．2．3 確認回歸方程的精度 173

6．2．4 殘差分析 174

6．2．5 回歸方程參數檢驗 175

6．2．6 回歸方程預測 176

6．3 常用的曲線回歸 177

6．3．1 曲線回歸問題 177

6．3．2 多項式回歸 177

6．3．3 指數回歸與對數回歸 179

6．3．4 其他常見曲線回歸 179

6．4 最小二乘法及其套用 179

6．4．1 最小二乘法線性擬合 179

6．4．2 偽逆矩陣求解 180

6．4．3 Moore-Pseudo逆矩陣 181

6．4．4 最小均方誤差算法 182

6．4．5 非線性回歸 183

6．4．6 智慧型最佳化求解技術 183

6．5 Logistic回歸 184

6．5．1 Logistic回歸分類與基本函式 184

6．5．2 Logistic回歸係數計算 185

6．6 本章小結 186

本章概念與關鍵字 187

練習與思考 187

第7章 空間降維技術 189

7．1 主成分分析 189

7．1．1 主成分分析描述 189

7．1．2 基於協方差矩陣的主成分分析 190

7．1．3 基於相關係數矩陣的主成分

分析 192

7．1．4 主成分分析與因子分析的聯繫 193

7．1．5 主成分分析的作用 194

7．2 因子分析案例研究 196

7．2．1 研究的目的與內容 196

7．2．2 變數選取與數據來源 196

7．2．3 因子分析過程 197

7．2．4 因子回歸分析 198

7．2．5 案例研究結論 199

7．3 奇異值分解 200

7．3．1 SVD的協同過濾推薦 200

7．3．2 SVD在協同過濾中的套用 203

7．3．3 SVD增量式協同過濾方法 204

7．4 主成分回歸與逐步回歸 205

7．4．1 多重共線性 205

7．4．2 主成分回歸 207

7．4．3 逐步回歸 207

7．5 本章小結 208

本章概念與關鍵字 208

練習與思考 209

第8章 關聯規則與點對相關性 210

8．1 頻繁模式與關聯規則的基本

概念 210

8．1．1 頻繁模式的基本概念 210

8．1．2 關聯規則的基本概念 211

8．1．3 極大頻繁模式與閉頻繁模式 212

8．2 頻繁模式挖掘 213

8．2．1 Apriori算法 213

8．2．2 垂直數據格式 214

8．2．3 基於頻繁模式計算關聯規則 215

8．3 頻繁模式樹 216

8．3．1 頻繁模式樹的構建 216

8．3．2 頻繁模式樹的遞歸過程 219

8．4 點對相似度的典型度量 220

8．4．1 點對關係常見度量 220

8．4．2 點對相關性度量的幾種特性 222

8．5 信息熵及其套用與點對相關性

度量 224

8．5．1 信息熵 224

8．5．2 聯合熵與互信息 226

8．5．3 信息增益、相對熵和交叉熵 228

8．5．4 互信息、交叉熵用於相關性 229

8．6 本章小結 230

本章概念與關鍵字 230

練習與思考 231

第9章 決策樹 232

9．1 分類問題與模型訓練 232

9．1．1 分類問題描述 232

9．1．2 分類問題舉例與泛化問題 233

9．1．3 分類模型的常見評價指標 235

9．2 決策樹及ID3算法 236

9．2．1 決策樹概述 236

9．2．2 ID3算法 238

9．3 C4．5算法與連續屬性特徵分

類樹 241

9．3．1 C4．5算法 241

9．3．2 連續屬性的決策樹構建 241

9．4 CART決策樹 243

9．4．1 CART分類樹 243

9．4．2 CART回歸樹 244

9．5 決策樹剪枝 250

9．5．1 剪枝問題的提出與先剪枝技術 250

9．5．2 錯誤率降低剪枝法 251

9．5．3 悲觀剪枝法 251

9．5．4 代價複雜度剪枝法 254

9．6 ROC曲線與AUC指標 255

9．6．1 ROC曲線描述與繪製 255

9．6．2 ROC曲線繪製與作用 257

9．6．3 AUC指標與套用 258

9．7 本章小結 259

本章概念與關鍵字 259

練習與思考 260

第10章 貝葉斯分類 261

10．1 連續屬性貝葉斯分類器 261

10．1．1 單個連續屬性貝葉斯分類 261

10．1．2 多個連續屬性的最小總風險

決策 262

10．1．3 多個連續屬性的最小平均誤差率

決策 263

10．2 正態機率分布下的貝葉斯分

類器 264

10．2．1 分類器的判別函式表示形式 264

10．2．2 常態分配下的貝葉斯判別函式 264

10．2．3 常態分配下的貝葉斯判別舉例 265

10．3 離散屬性貝葉斯分類器 267

10．3．1 離散屬性貝葉斯模型 267

10．3．2 樸素貝葉斯分類器 267

10．4 樸素貝葉斯文本分類和TAN貝葉斯

模型 270

10．4．1 樸素貝葉斯文本分類器 270

10．4．2 TAN貝葉斯分類模型 272

10．5 貝葉斯分類器中的參數估計與非參數

估計 276

10．5．1 貝葉斯分類器中的參數估計 276

10．5．2 非參數估計 277

10．6 本章小結 278

本章概念與關鍵字 279

練習與思考 279

第11章 特徵空間與判別分析 280

11．1 特徵空間 280

11．1．1 特徵空間構造 280

11．1．2 特徵空間評價 282

11．1．3 特徵空間變換 284

11．1．4 證據空間 285

11．2 特徵提取與特徵選擇 285

11．2．1 特徵提取 285

11．2．2 特徵選擇 285

11．2．3 jiang相關係數 286

11．2．4 過濾式特徵選擇 288

11．2．5 封裝式特徵選擇 288

11．2．6 嵌入式特徵選擇 289

11．3 極大似然判別分析 289

11．3．1 極大似然判別分析的工作過程 289

11．3．2 極大似然判別分析的套用舉例 290

11．4 距離判別分析 290

11．4．1 距離與相似度的常用度量 290

11．4．2 距離判別分析的工作原理 291

11．4．3 距離判別法的檢驗與多總體距離

判別 293

11．4．4 兩總體方差是否有相同的檢驗 294

11．4．5 加權的距離或相似度套用於距離判別

分析與kNN分類模型 296

11．5 Fisher判別分析 296

11．5．1 兩類別的線性判別中的很好投影

方向 296

11．5．2 兩類別的線性判別過程 298

11．5．3 多重線性判別分析 299

11．5．4 Fisher判別分析套用舉例 301

11．6 本章小結 303

本章概念與關鍵字 303

練習與思考 303

第12章 感知機與支持向量機 305

12．1 線性判別函式 305

12．1．1 線性判別函式表示 305

12．1．2 多重線性判別函式 306

12．1．3 廣義線性判別函式 306

12．2 感知機分類器 307

12．2．1 M-P模型 307

12．2．2 感知機結構 308

12．2．3 感知機訓練算法 309

12．2．4 感知機套用舉例 312

12．3 感知機訓練算法擴展 313

12．3．1 感知機的典型訓練算法 313

12．3．2 感知機鬆弛算法 314

12．3．3 最小均方誤差求解算法 314

12．3．4 Ho-kashyap求解算法 316

12．3．5 多分類擴展偽逆求解 317

12．3．6 感知機的對偶形式 318

12．4 優選間隔超平面與結構風險 319

12．4．1 優選間隔超平面 319

12．4．2 經驗風險最小化與結構風險

最小化 320

12．5 支持向量機 323

12．5．1 線性可分時的支持向量機 323

12．5．2 數據不可分時的線性SVM 327

12．5．3 非線性支持向量機 332

12．5．4 支持向量機中的其他問題 336

12．6 本章小結 338

本章概念與關鍵字 339

練習與思考 339

第13章 人工神經網路 341

13．1 激活函式與多層感知機 341

13．1．1 常見激活函式 341

13．1．2 多層感知機結構 344

13．1．3 多層感知機設計 345

13．2 BP神經網路 347

13．2．1 BP神經網路及BP算法 347

13．2．2 BP算法訓練中的注意事項 351

13．3 BP神經網路套用 355

13．3．1 二分類問題套用 355

13．3．2 多分類問題與擬合問題 359

13．4 深度學習 361

13．4．1 深度學習技術環境 361

13．4．2 卷積神經網路 363

13．4．3 卷積神經網路訓練與套用

舉例 368

13．4．4 循環神經網路 373

13．4．5 其他深度學習技術 376

13．5 本章小結 378

本章概念與關鍵字 379

練習與思考 379

第14章 集成學習 381

14．1 機器學習中的若干問題 381

14．1．1 機器學習的主要任務類型 381

14．1．2 機器學習的泛化問題 382

14．1．3 維數災難問題 384

14．1．4 機器學習模型的優越性問題 385

14．2 統計量重抽樣技術 386

14．2．1 偏差與方差 386

14．2．2 刀切法統計量估計 387

14．2．3 自助法統計量估計 388

14．3 分類器重抽樣技術與組合

分類器 389

14．3．1 Bagging法 389

14．3．2 Boosting法 389

14．3．3 Bagging法與Boosting法的主要

特點 390

14．3．4 組合分類器 390

14．4 隨機森林與Adaboost算法 393

14．4．1 隨機森林 393

14．4．2 Adaboost算法 396

14．5 分類模型中的若干問題 397

14．5．1 用二分類器處理多分類問題 397

14．5．2 多標籤分類方法 399

14．5．3 類別數據不平衡問題 400

14．5．4 單純提高準確率與單純提高

召回率的方法 401

14．6 本章小結 402

本章概念與關鍵字 403

練習與思考 403

第15章 聚類分析與離群點分析 404

15．1 聚類問題與聚類類型 404

15．1．1 聚類問題 404

15．1．2 聚類類型 405

15．2 基於劃分的聚類 406

15．2．1 k-means聚類 406

15．2．2 k-medoids聚類 408

15．3 層次聚類 410

15．3．1 簇間距離的計算 410

15．3．2 層次聚類方法 410

15．4 基於密度的聚類 412

15．4．1 DBSCAN聚類 412

15．4．2 OPTICS聚類 415

15．5 基於格線的聚類與基於模型的

聚類 417

15．5．1 CLIQUE聚類 417

15．5．2 自組織神經網路聚類原理 418

15．6 離群點分析 420

15．6．1 離群點分析 420

15．6．2 離群點檢測 420

15．7 本章小結 421

本章概念與關鍵字 422

練習與思考 422

附錄A Mann-Whitney U檢驗的

臨界表 424

附錄B Wilcoxon signed-rank檢驗按符號秩

和的臨界表 424

附錄C Wilcoxon signed-rank檢驗按min

(正號秩，負號秩)的臨界表 425

附錄D q分布(Studentized range distribution)

的臨界表 426

附錄E Dunnett雙尾檢驗的臨界表 428

附錄F 相關係數R和判定係數R2的

臨界表 430

附錄G 鳶尾花數據集 431

參考文獻 433