統計分析：從小數據到大數據

基本介紹

• 書名：統計分析：從小數據到大數據 
• 作者：丁亞軍 
• ISBN：978-7-121-37753-2 
• 頁數：252頁 
• 定價：79.00元  
• 出版社：電子工業出版社 
• 出版時間：2020年1月 

內容提要

面對小數據和大數據，數據分析師應該如何收集數據信息？傳統的業務框架如何與統計學相關聯？測量學扮演著什麼角色？建模過程有哪些預分析技術和修正技術？建模工作完成後，如何解析？如何歸因？如何預測？等等，這些數據分析能力構成了本書的分析框架。

《統計分析：從小數據到大數據》分為8章，小數據與大數據分析模式的動態切換貫穿全書，展示了數據分析案例的模組化分析思路。第1～3章為數據預分析部分，強調業務問題與統計問題的銜接；第4～6章為統計建模階段，其中附有對行業案例和業務敏感度的訓練、對統計和業務整合的審美建議，進而構造出一套具有靈活調校的數據分析模式。第7～8章解決的問題是，如何將晦澀難懂的統計解釋轉換成業務解釋。

目錄

第1 部分 數據分析準備

第1 章 從業務到統計

1.1 業務需求從哪來 / 002

1.1.1 學習業務的最快途徑：閱讀運營報告 / 002

1.1.2 當務之急：研究痛點 / 004

1.1.3 數據分析之錨：未來戰略方向 / 005

1.1.4 對數據分析“小白”的有益建議 / 005

1.2 從小數據到大數據：數據體量與信息分布 / 008

1.2.1 實驗室：理論驗證 / 009

1.2.2 問卷：理論驗證+ 探索 / 011

1.2.3 資料庫：業務驗證+ 探索 / 012

1.2.4 數據信息與統計模型 / 013

1.2.5 算法套用：是否跨界 / 015

1.2.6 算法特徵：角色 / 016

1.3 數據分析流程的啟示 / 019

1.3.1 假設：驗證與歸因 / 021

1.3.2 小機率：黑天鵝的不確定 / 025

1.3.3 抽樣技術：經濟是根本 / 026

1.3.4 選擇模型：方法論 / 028

1.3.5 顯著性判斷：可證偽 / 029

第2 章 變數角色與描述

2.1 如何描述變數 / 032

2.1.1 分類變數與連續變數的分界線 / 032

2.1.2 分類變數及可視化 / 033

2.1.3 連續變數及可視化 / 037

2.2 因變數的測量 / 040

2.2.1 測量級別問題 / 040

2.2.2 是否存在測量誤差 / 045

2.2.3 誰會成為“主角” / 047

2.2.4 y 的量化場景 / 050

2.3 自變數的選擇 / 053

2.3.1 驗證性：x 的選擇 / 054

2.3.2 探索性：x 的選擇 / 054

第3 章 數據預分析

3.1 填補缺失 / 056

3.1.1 描述缺失數據：行、列、單元格 / 056

3.1.2 缺失類型：隨機性 / 060

3.1.3 小數據填補方案：精確性探討 / 061

3.1.4 大數據填補方案：速度問題探討 / 068

3.2 處理異常值 / 069

3.2.1 單變數與雙變數異常 / 069

3.2.2 無監督異常：聚類分析 / 070

3.2.3 監督異常：回歸殘差分析 / 073

3.2.4 小數據與大數據如何看待異常值 / 076

3.3 消除共線性 / 080

3.3.1 共線性及其危害 / 081

3.3.2 小數據的方案：嶺回歸 / 082

3.3.3 大數據方案：項目合併與逐步回歸 / 084

3.4 內生性問題 / 088

3.4.1 內生性及其危害 / 088

3.4.2 問題核心：特徵選擇 / 089

3.4.3 三駕馬車之一：資料庫的應對策略 / 094

3.5 變數變換技術 / 102

3.5.1 常態分配變換：對數變換 / 102

3.5.2 從0 到1：老闆最喜歡的符號% / 104

3.5.3 強異常值：秩的套用 / 105

3.5.4 量綱：標準化變換 / 106

3.6 編碼技術 / 107

3.6.1 為什麼需要分箱化 / 107

3.6.2 分箱技術要義：數據拐點 / 111

3.7 避免過擬合 / 113

3.7.1 導致過擬合：行列問題 / 113

3.7.2 小數據為什麼不談過擬合 / 114

3.7.3 避免過擬合：方法學 / 115

第2部分 構建模型與修正技術

第4 章 線性回歸與統計家族

4.1 差異性問題：方差分析 / 121

4.1.1 差異的來源：主效應 / 121

4.1.2 差異的來源：互動效應 / 128

4.1.3 互動性解釋：互動效應圖製作 / 129

4.2 結構性問題：回歸分析 / 131

4.2.1 回歸分析流程 / 131

4.2.2 相關的風向標作用：文氏圖 / 135

4.2.3 偏相關的歸因：中介和調節 / 137

4.2.4 回歸係數解釋：偏回歸圖 / 142

4.2.5 如何相信R2 / 149

4.2.6 以殘差看假設 / 152

4.2.7 殘差信息的有和無 / 158

4.2.8 小數據需求歸納：重結構輕預測 / 158

4.3 算法進化REG：小數據專家的努力 / 159

4.3.1 算法1.0：精確度+ 結構 / 160

4.3.2 算法2.0：精確度+ 結構與預測 / 163

4.3.3 算法3.0：速度+ 預測 / 164

4.3.4 算法4.0：加速度 / 167

第5 章 Logistic 回歸與統計家族

5.1 預測性問題：Logistic 回歸 / 168

5.1.1 卡方的風向標作用 / 169

5.1.2 不一樣的R2：預測分類表 / 170

5.1.3 回歸係數解釋：or 值與rr 值 / 171

5.1.4 修正技術：是x 而不是y / 174

5.1.5 大數據需求歸納：輕結構重預測 / 177

5.2 算法進化Logistic：大數據與智慧型 / 178

5.2.1 算法1.0：穩定性+ 結構 / 178

5.2.2 算法2.0：穩定性+ 結構與預測 / 179

5.2.3 算法3.0：速度+ 預測 / 179

5.2.4 算法4.0：加速度 / 179

5.3 算法3.0 的榜樣：神經網路 / 180

5.3.1 神經網路算法 / 180

5.3.2 DM 算法預分析 / 183

5.3.3 基於神經網路的常規套用 / 185

第6 章 降維技術

6.1 主成分回歸與壓縮技術 / 192

6.1.1 四駕馬車：實驗室、問卷、資料庫、雲 / 192

6.1.2 主成分算法：降維 / 192

6.1.3 主成分與因子：誰應該有名字？ / 194

6.1.4 主成分回歸：“回歸+ 回歸”模式 / 196

6.2 對應分析：一個市場調查案例 / 197

6.2.1 案例背景介紹 / 197

6.2.2 模型預分析 / 199

6.2.3 構建模型：“廣義”雙標圖 / 203

6.2.4 結論及行銷 / 214

第3部分 模型套用與評估

第7 章 回歸類模型套用

7.1 結構性問題：偏回歸係數 / 216

7.1.1 單結構：偏的意義 / 216

7.1.2 整體結構：條件規則 / 217

7.2 預測性問題：估計值 / 217

7.2.1 老樣本預測：內衍與市場區隔 / 218

7.2.2 新樣本預測：外推與潛在行為 / 219

7.3 模型優劣與模型評價 / 219

7.3.1 R2 變形記 / 219

7.3.2 圖示R2：R2 圖與ROC 曲線 / 221

7.4 模型優劣與業務評價 / 221

7.4.1 小數據的標準：R2 / 221

7.4.2 大數據的標準：老闆 / 222

第8 章 數據分析報告

8.1 可視化圖形製作 / 223

8.1.1 條形圖與折線圖 / 223

8.1.2 頻數與分布 / 223

8.1.3 多變箱體圖 / 224

8.1.4 散點圖與氣泡圖 / 225

8.2 圖形製作與格式 / 227

8.2.1 圖形製作：繪圖、顏色 / 227

8.2.2 圖形模板製作與調用 / 229

8.3 表格製作與格式 / 230

8.3.1 表格製作：制表、格式 / 230

8.3.2 表格模板製作與調用 / 232

8.3.3 OMS 控制臺 / 234

附錄A 數據集__

作者簡介

丁亞軍

自由職業者，兼CDA數據科學研究院研究員、電子工業出版社大數據專家委員會成員、學習路徑圖國際技術中心顧問、經管之家培訓中心講師。

研究方向：統計軟體與數據分析、市場調查研究、電商CRM數據挖掘、銀行申請與行為評分卡。