Python數據分析與數據化運營（第2版）

《Python數據分析與數據化運營（第2版）》是2019年機械工業出版社出版的圖書，作者是宋天龍。

基本介紹

• 書名：Python數據分析與數據化運營（第2版）
• 作者：宋天龍
• 出版社：機械工業出版社
• ISBN：9787111627760

內容簡介

這是一本將數據分析技術與數據使用場景深度結合的著作，從實戰角度講解了如何利用Python進行數據分析和數據化運營。

暢銷書全新、大幅升級，第1版近乎100%的好評，第2版不僅將Python升級到了新的版本，而且對具體內容進行了大幅度的補充和最佳化。作者是有10餘年數據分析與數據化運營的資深大數據專家，書中對50餘個數據工作流知識點、14個數據分析與挖掘主題、4個數據化運營主題、8個綜合性案例進行了全面的講解，能讓數據化運營結合數據使用場景360°落地。

全書一共9章，分為兩個部分：

第一部分（第1-4章） Python數據分析與挖掘

首先介紹了Python和數據化運營的基本知識，然後詳細講解了Python數據獲取（結構化和非結構化）、預處理、分析和挖掘的關鍵技術和經驗，包含10大類預處理經驗、14個數據分析與挖掘主題，50餘個知識點。

第二部分（第5~9章） Python數據化運營

這是本書的核心，詳細講解了會員運營、商品運營、流量運營和內容運營4大主題，以及提升數據化運營價值的方法。每個運營主題中都包含了基本知識、評估指標、套用場景、數據分析模型、數據分析小技巧、數據分析大實話以及2個綜合性的套用案例。

圖書目錄

前言

第1章　Python和數據化運營1

1.1　用Python做數據化運營1

1.1.1　Python是什麼1

1.1.2　數據化運營是什麼2

1.1.3　Python用於數據化運營5

1.2　數據化運營所需的Python相關工具和組件5

1.2.1　Python程式6

1.2.2　Python互動環境Jupyter7

1.2.3　Python第三方庫23

1.2.4　資料庫和客戶端29

1.2.5　SSH遠程客戶端30

1.3　內容延伸：Python的OCR和tensorflow31

1.3.1　OCR工具：Tesseract-ocr31

1.3.2　機器學習框架：TensorFlow31

1.4　第1個用Python實現的數據化運營分析實例、銷售預測32

1.4.1　案例概述32

1.4.2　案例過程32

1.4.3　案例小結36

1.5　本章小結37

第2章　數據化運營的數據來源40

2.1　數據化運營的數據來源類型40

2.1.1　數據檔案40

2.1.2　資料庫41

2.1.3　API42

2.1.4　流式數據43

2.1.5　外部公開數據43

2.1.6　其他來源44

2.2　使用Python獲取運營數據44

2.2.1　從文本檔案讀取運營數據44

2.2.2　從Excel獲取運營數據55

2.2.3　從關係型資料庫MySQL讀取運營數據57

2.2.4　從非關係型資料庫MongoDB讀取運營數據64

2.2.5　從API獲取運營數據68

2.3　內容延伸：讀取非結構化網頁、文本、圖像、視頻、語音72

2.3.1　從網頁中獲取運營數據72

2.3.2　讀取非結構化文本數據73

2.3.3　讀取圖像數據74

2.3.4　讀取視頻數據78

2.3.5　讀取語音數據81

2.4　本章小結85

第3章　10條數據化運營不得不知道的數據預處理經驗87

3.1　數據清洗：缺失值、異常值和重複值的處理87

3.1.1　數據列缺失的4種處理方法87

3.1.2　不要輕易拋棄異常數據89

3.1.3　數據重複就需要去重嗎90

3.1.4　代碼實操：Python數據清洗92

3.2　將分類數據和順序數據轉換為標誌變數100

3.2.1　分類數據和順序數據是什麼100

3.2.2　運用標誌方法處理分類和順序變數101

3.2.3　代碼實操：Python標誌轉換101

3.3　大數據時代的數據降維104

3.3.1　需要數據降維的情況104

3.3.2　基於特徵選擇的降維105

3.3.3　基於特徵轉換的降維106

3.3.4　基於特徵組合的降維112

3.3.5　代碼實操：Python數據降維114

3.4　解決樣本類別分布不均衡的問題123

3.4.1　哪些運營場景中容易出現樣本不均衡124

3.4.2　通過過抽樣和欠抽樣解決樣本不均衡124

3.4.3　通過正負樣本的懲罰權重解決樣本不均衡124

3.4.4　通過組合/集成方法解決樣本不均衡125

3.4.5　通過特徵選擇解決樣本不均衡125

3.4.6　代碼實操：Python處理樣本不均衡125

3.5　數據化運營要抽樣還是全量數據128

3.5.1　什麼時候需要抽樣128

3.5.2　如何進行抽樣129

3.5.3　抽樣需要注意的幾個問題130

3.5.4　代碼實操：Python數據抽樣131

3.6　解決運營數據的共線性問題135

3.6.1　如何檢驗共線性135

3.6.2　解決共線性的5種常用方法136

3.6.3　代碼實操：Python處理共線性問題137

3.7　有關相關性分析的混沌139

3.7.1　相關和因果是一回事嗎139

3.7.2　相關係數低就是不相關嗎139

3.7.3　代碼實操：Python相關性分析140

3.8　標準化，讓運營數據落入相同的範圍141

3.8.1　實現中心化和常態分配的Z-Score141

3.8.2　實現歸一化的Max-Min142

3.8.3　用於稀疏數據的MaxAbs142

3.8.4　針對離群點的RobustScaler142

3.8.5　代碼實操：Python數據標準化處理142

3.9　離散化，對運營數據做邏輯分層145

3.9.1　針對時間數據的離散化145

3.9.2　針對多值離散數據的離散化146

3.9.3　針對連續數據的離散化146

3.9.4　針對連續數據的二值化147

3.9.5　代碼實操：Python數據離散化處理147

3.10　內容延伸：非結構化數據的預處理151

3.10.1　網頁數據解析151

3.10.2　網路用戶日誌解析159

3.10.3　圖像的基本預處理164

3.10.4　自然語言文本預處理169

3.11　本章小結172

第4章　跳過運營數據分析和挖掘的“大坑”174

4.1　聚類分析174

4.1.1　當心數據異常對聚類結果的影響175

4.1.2　超大數據量時應該放棄K均值算法175

4.1.3　聚類不僅是建模的終點，更是重要的中間預處理過程177

4.1.4　高維數據上無法套用聚類嗎178

4.1.5　如何選擇聚類分析算法179

4.1.6　案例：客戶特徵的聚類與探索性分析179

4.2　回歸分析196

4.2.1　注意回歸自變數之間的共線性問題197

4.2.2　相關係數、判定係數和回歸係數之間是什麼關係197

4.2.3　判定係數是否意味著相應的因果聯繫197

4.2.4　注意套用回歸模型時研究自變數是否產生變化198

4.2.5　如何選擇回歸分析算法198

4.2.6　案例：大型促銷活動前的銷售預測199

4.3　分類分析206

4.3.1　防止分類模型的過擬合問題207

4.3.2　使用關聯算法做分類分析207

4.3.3　用分類分析來提煉規則、提取變數、處理缺失值208

4.3.4　類別劃分：分類算法和聚類算法都是好手209

4.3.5　如何選擇分類分析算法210

4.3.6　案例：用戶流失預測分析與套用210

4.4　關聯分析221

4.4.1　頻繁規則不一定是有效規則221

4.4.2　不要被啤酒尿布的故事禁錮你的思維222

4.4.3　被忽略的“負相關”模式真的毫無用武之地嗎223

4.4.4　頻繁規則只能打包組合套用嗎224

4.4.5　關聯規則的序列模式224

4.4.6　使用Python和R分別實現商品交叉銷售分析225

4.5　異常檢測分析240

4.5.1　異常檢測中的“新奇檢測”模式241

4.5.2　將數據異常與業務異常相分離241

4.5.3　面臨維度災難時，異常檢測可能會失效241

4.5.4　異常檢測的結果能說明異常嗎241

4.5.5　案例：網站廣告流量的異常識別與檢測242

4.6　時間序列分析253

4.6.1　如果有自變數，為什麼還要用時間序列253

4.6.2　時間序列不適合商業環境複雜的企業254

4.6.3　時間序列預測的整合、橫向和縱向模式255

4.6.4　案例：未來10天的整體銷售預測255

4.7　路徑、漏斗、歸因和熱力圖分析267

4.7.1　不要輕易相信用戶的頁面訪問路徑269

4.7.2　如何將路徑套用於更多用戶行為模式的挖掘270

4.7.3　為什麼很多數據都顯示了多渠道路徑的價值很小271

4.7.4　點擊熱力圖真的反映了用戶的點擊喜好嗎271

4.7.5　為什麼歸因分析主要存在於線上的轉化行為272

4.7.6　漏斗分析和路徑分析有什麼區別273

4.8　其他數據分析和挖掘的忠告274

4.8.1　不要忘記數據質量的驗證274

4.8.2　不要忽視數據的落地性274

4.8.3　不要把數據陳列當作數據結論275

4.8.4　數據結論不要產生於單一指標276

4.8.5　數據分析不要預設價值立場276

4.8.6　不要忽視數據與業務的需求衝突問題277

4.9　內容延伸1：非結構化數據的分析與挖掘278

4.9.1　詞頻統計278

4.9.2　詞性標註281

4.9.3　關鍵字提取284

4.9.4　文本聚類286

4.10　內容延伸2：AutoML—自動化數據挖掘與機器學習289

4.10.1　自動化數據挖掘與機器學習概述289

4.10.2　TPOT自動化學習簡介290

4.10.3　使用TPOT做自動化學習292

4.11　本章小結298

第5章　會員數據化運營300

5.1　會員數據化運營概述300

5.2　會員數據化運營關鍵指標301

5.2.1　會員整體指標301

5.2.2　會員行銷指標301

5.2.3　會員活躍度指標303

5.2.4　會員價值度指標305

5.2.5　會員終生價值指標305

5.2.6　會員異動指標306

5.3　會員數據化運營套用場景307

5.3.1　會員行銷307

5.3.2　會員關懷307

5.4　會員數據化運營分析模型307

5.4.1　會員細分模型307

5.4.2　會員活躍度模型309

5.4.3　會員價值度模型309

5.4.4　會員流失預測模型310

5.4.5　會員特徵分析模型311

5.4.6　行銷回響預測模型312

5.5　會員數據化運營分析小技巧313

5.5.1　使用留存分析做新用戶質量分析313

5.5.2　使用AARRR做App用戶生命周期分析314

5.5.3　藉助動態數據流關注會員狀態的輪轉315

5.5.4　使用協同過濾算法為新會員分析推送個性化信息316

5.6　會員數據化運營分析的“大實話”318

5.6.1　企業“不差錢”，還有必要做會員精準行銷嗎318

5.6.2　用戶滿意度取決於期望和給予的匹配程度319

5.6.3　用戶不購買就是流失了嗎319

5.6.4　來自調研問卷的用戶信息可信嗎320

5.6.5　不要盲目相信二八法則321

5.7　案例：基於RFM的精細化用戶管理322

5.7.1　案例背景322

5.7.2　案例主要套用技術322

5.7.3　案例數據323

5.7.4　案例過程323

5.7.5　案例數據結論337

5.7.6　案例套用和部署341

5.7.7　案例注意點341

5.7.8　案例引申思考342

5.8　案例：基於嵌套Pipeline和Fea-tureUnion複合數據工作流的行銷回響預測342

5.8.1　案例背景342

5.8.2　案例主要套用技術343

5.8.3　案例數據343

5.8.4　案例過程344

5.8.5　案例數據結論353

5.8.6　案例套用和部署353

5.8.7　案例注意點354

5.8.8　案例引申思考355

5.9　本章小結355

第6章　商品數據化運營357

6.1　商品數據化運營概述357

6.2　商品數據化運營關鍵指標357

6.2.1　銷售指標357

6.2.2　促銷活動指標360

6.2.3　供應鏈指標361

6.3　商品數據化運營套用場景363

6.3.1　銷售預測363

6.3.2　庫存分析363

6.3.3　市場分析363

6.3.4　促銷分析364

6.4　商品數據化運營分析模型364

6.4.1　商品價格敏感度模型364

6.4.2　新產品市場定位模型365

6.4.3　銷售預測模型366

6.4.4　商品關聯銷售模型367

6.4.5　異常訂單檢測368

6.4.6　商品規劃的最優組合368

6.5　商品數據化運營分析小技巧370

6.5.1　使用層次分析法將定量與定性分析結合370

6.5.2　通過假設檢驗做促銷拉動分析373

6.5.3　使用BCG矩陣做商品結構分析374

6.5.4　巧用4P分析建立完善的商品運營分析結構376

6.6　商品數據化運營分析的“大實話”376

6.6.1　為什麼很多企業會以低於進價的價格大量銷售商品376

6.6.2　促銷活動真的是在促進商品銷售嗎378

6.6.3　用戶關注的商品就是要買的商品嗎379

6.6.4　提供的選擇過多其實不利於商品銷售380

6.7　案例：基於Gradient Boosting的自動超參數最佳化的銷售預測381

6.7.1　案例背景381

6.7.2　案例主要套用技術381

6.7.3　案例數據381

6.7.4　案例過程382

6.7.5　案例數據結論389

6.7.6　案例套用和部署389

6.7.7　案例注意點389

6.7.8　案例引申思考389

6.8　案例：基於集成算法GBDT和RandomForest的投票組合模型的異常檢測390

6.8.1　案例背景390

6.8.2　案例主要套用技術390

6.8.3　案例數據391

6.8.4　案例過程391

6.8.5　案例數據結論397

6.8.6　案例套用和部署398

6.8.7　案例注意點398

6.8.8　案例引申思考399

6.9　本章小結400

第7章　流量數據化運營402

7.1　流量數據化運營概述402

7.2　八大流量分析工具402

7.2.1　Adobe Analytics403

7.2.2　Webtrekk Suite403

7.2.3　Webtrends403

7.2.4　Google Analytics404

7.2.5　IBM Coremetrics404

7.2.6　百度統計404

7.2.7　Flurry404

7.2.8　友盟405

7.2.9　如何選擇第三方流量分析工具405

7.3　流量採集分析系統的工作機制408

7.3.1　流量數據採集409

7.3.2　流量數據處理411

7.3.3　流量數據套用412

7.4　流量數據與企業數據的整合413

7.4.1　流量數據整合的意義413

7.4.2　流量數據整合的範疇414

7.4.3　流量數據整合的方法414

7.5　流量數據化運營指標415

7.5.1　站外行銷推廣指標415

7.5.2　網站流量數量指標417

7.5.3　網站流量質量指標418

7.6　流量數據化運營套用場景421

7.6.1　流量採購421

7.6.2　流量分發423

7.7　流量數據化運營分析模型423

7.7.1　流量波動檢測423

7.7.2　渠道特徵聚類425

7.7.3　廣告整合傳播模型425

7.7.4　流量預測模型428

7.8　流量數據化運營分析小技巧429

7.8.1　給老闆提供一頁紙的流量dashboard429

7.8.2　關注趨勢、重要事件和潛在因素是日常報告的核心431

7.8.3　使用從細分到多層下鑽數據分析431

7.8.4　通過跨屏追蹤解決用戶跨設備和瀏覽器的訪問行為432

7.8.5　基於時間序列的用戶群體過濾434

7.9　流量數據化運營分析的“大實話”436

7.9.1　流量數據分析的價值其實沒那么大436

7.9.2　如何將流量的實時分析價值最大化437

7.9.3　行銷流量的質量評估是難點工作438

7.9.4　個性化的媒體投放仍然面臨很多問題438

7.9.5　傳統的網站分析方法到底缺少了什麼439

7.10　案例：基於自動節點樹的數據異常原因下探分析444

7.10.1　案例背景444

7.10.2　案例主要套用技術444

7.10.3　案例數據445

7.10.4　案例過程446

7.10.5　案例數據結論459

7.10.6　案例套用和部署460

7.10.7　案例注意點460

7.10.8　案例引申思考461

7.11　案例：基於自動K值的KMeans廣告效果聚類分析461

7.11.1　案例背景461

7.11.2　案例主要套用技術462

7.11.3　案例數據462

7.11.4　案例過程463

7.11.5　案例數據結論474

7.11.6　案例套用和部署475

7.11.7　案例注意點476

7.11.8　案例引申思考477

7.12　本章小結477

第8章　內容數據化運營480

8.1　內容數據化運營概述480

8.2　內容數據化運營指標481

8.2.1　內容質量指標481

8.2.2　SEO類指標481

8.2.3　內容流量指標482

8.2.4　內容互動指標482

8.2.5　目標轉化指標483

8.3　內容數據化運營套用場景484

8.3.1　內容採集484

8.3.2　內容創作484

8.3.3　內容分發485

8.3.4　內容管理485

8.4　內容數據化運營分析模型485

8.5　內容數據化運營分析小技巧488

8.6　內容數據化運營分析的“大實話”495

8.7　案例：基於潛在狄利克雷分配的內容主題挖掘498

8.8　案例：基於多項式貝葉斯的增量學習的文本分類508

8.9　本章小結518

第9章　數據化運營分析的終極秘籍520

9.1　撰寫出彩的數據分析報告的5個建議520

9.2　數據化運營支持的4種擴展方式526

9.3　提升數據化運營價值度的5種途徑528

9.4　本章小結531

附錄533

附錄A　公開數據集533

附錄B　Python數據工具箱540

作者簡介

宋天龍(TonySong)

大數據技術專家，觸脈諮詢合伙人兼副總裁，前Webtrekk中國區技術和諮詢負責人（Webtrekk，德國的線上數據分析服務提供商）。

擅長數據挖掘、建模、分析與運營，精通端到端數據價值場景設計、業務需求轉換、數據結構梳理、數據建模與學習以及數據工程交付。在電子商務、零售、銀行、保險等多個行業擁有豐富的數據項目工作經驗，參與過集團和企業級數據體系規劃、DMP與數據倉庫建設、大數據產品開發、網站流量系統建設、個性化智慧型推薦與精準行銷、企業大數據智慧型等。參與實施客戶案例包括聯合利華、Webpower、德國OTTO集團電子商務（中國）、Esprit中國、豬八戒網、順豐優選、樂視商城、泰康人壽、酒仙網、國美線上、迪信通等。

著有多部暢銷書：

《Python數據分析與數據化運營》

《網站數據挖掘與分析：系統方法與商業實踐》

《企業大數據系統構建實戰：技術、架構、實施與套用》