Python數據分析與數據化運營

《Python數據分析與數據化運營》是2017年機械工業出版社出版的圖書，作者是宋天龍。

基本介紹

• 書名：Python數據分析與數據化運營
• 作者：宋天龍
• ISBN：9787111584605
• 類別：數據分析與決策技術叢書
• 頁數：524
• 定價：99
• 出版社：機械工業出版社
• 出版時間：2017年10月
• 裝幀：平裝
• 開本：16
• 著作權方：北京華章圖文信息有限公司

內容簡介

本書的內容從邏輯上共分為兩大部分：

第一部分（第1~4章）：Python數據分析和挖掘

著重講解了Python和數據化運營的基本知識，以及Python數據獲取（結構化和非結構化）、預處理、分析和挖掘的關鍵技術和經驗。包含11條數據預處理經驗、39個數據預處理知識點、14個數據分析和挖掘的建模主題。

第二部分（第5~9章）：Python數據化運營

這是本書的核心，詳細講解了會員運營、商品運營、流量運營和內容運營4大主題，以及提升數據化運營價值的方法。在每個運營主題中都包含了基本知識、評估指標、套用場景、數據分析模型、數據分析小技巧、數據分析大實話以及2個綜合性的套用案例。

本書提供所有的案例數據和原始碼（中文注釋）下載，供讀者實操時使用。

編輯推薦

這是一部從實戰角度講解如何利用Python進行數據分析、挖掘和數據化運營的著作，不僅對數據分析的關鍵技術和技巧進行了總結，更重要的是對會員、商品、流量、內容4個主題的數據化運營進行了熊講解。

作者是國內一線數據分析師和大數據專家，在數據分析和數據化運營領域有近10年的經驗，在業內頗具知名度和影響力。本書不僅得到了宋星、黃成明、宮鑫等14位自身專家的好評的推薦，還得到了天善智慧型、中國統計網等多個數據科學相關機構的支持和高度認可。

作者簡介

宋天龍（TonySong），大數據技術專家，歷任軟通動力集團大數據研究院數據總監，Webtrekk（德國最大的網站數據分析服務提供商）中國區技術和諮詢負責人，國美線上大數據中心經理。

擅長數據挖掘、建模、分析與運營，精通端到端數據價值場景設計、業務需求轉換、數據結構梳理、數據建模與學習以及數據工程交付。擁有豐富的數據項目工作經驗，參與過集團和企業級數據體系規劃、大數據產品開發、網站流量系統建設、網站智慧型推薦、企業大數據智慧型等大型數據工作項目。參與實施客戶案例，包括Webpower、德國OTTO集團電子商務（中國），Esprit中國、豬八戒網、順豐優選、樂視商城、泰康人壽、酒仙網，國美線上、迪信通等。

著有《網站數據挖掘與分析：系統方法與商業實踐》、《企業大數據系統構建實戰：技術、架構、實施與套用》。

目錄

讚譽

前言

第1章　Python和數據化運營1

1.1　用Python做數據化運營1

1.1.1　Python是什麼1

1.1.2　數據化運營是什麼2

1.1.3　Python用於數據化運營5

1.2　數據化運營所需的Python相關工具和組件6

1.2.1　Python程式6

1.2.2　Python IDE7

1.2.3　Python第三方庫8

1.2.4　資料庫和客戶端16

1.2.5　SSH遠程客戶端18

1.3　內容延伸：Python的OCR和TensorFlow18

1.3.1　OCR工具：Tesseract-OCR18

1.3.2　機器學習框架—TensorFlow19

1.4　第一個用Python實現的數據化運營分析實例—銷售預測20

1.4.1　案例概述20

1.4.2　案例過程20

1.4.3　案例小結28

1.5　本章小結28

第2章　數據化運營的數據來源31

2.1　數據化運營的數據來源類型31

2.1.1　數據檔案31

2.1.2　資料庫32

2.1.3　API33

2.1.4　流式數據34

2.1.5　外部公開數據34

2.1.6　其他35

2.2　使用Python獲取運營數據35

2.2.1　從文本檔案讀取運營數據35

2.2.2　從Excel獲取運營數據46

2.2.3　從關係型資料庫MySQL讀取運營數據48

2.2.4　從非關係型資料庫MongoDB讀取運營數據56

2.2.5　從API獲取運營數據59

2.3　內容延伸：讀取非結構化網頁、文本、圖像、視頻、語音64

2.3.1　從網頁中爬取運營數據64

2.3.2　讀取非結構化文本數據65

2.3.3　讀取圖像數據65

2.3.4　讀取視頻數據68

2.3.5　讀取語音數據70

2.4　本章小結75

第3章　11條數據化運營不得不知道的數據預處理經驗76

3.1　數據清洗：缺失值、異常值和重複值的處理76

3.1.1　數據列缺失的4種處理方法76

3.1.2　不要輕易拋棄異常數據78

3.1.3　 數據重複就需要去重嗎79

3.1.4　代碼實操：Python數據清洗81

3.2　將分類數據和順序數據轉換為標誌變數89

3.2.1　分類數據和順序數據是什麼89

3.2.2　運用標誌方法處理分類和順序數據90

3.2.3　代碼實操：Python標誌轉換90

3.3　大數據時代的數據降維94

3.3.1　需要數據降維的情況94

3.3.2　基於特徵選擇的降維94

3.3.3　基於維度轉換的降維96

3.3.4　代碼實操：Python數據降維97

3.4　解決樣本類別分布不均衡的問題100

3.4.1　哪些運營場景中容易出現樣本不均衡100

3.4.2　通過過抽樣和欠抽樣解決樣本不均衡101

3.4.3　通過正負樣本的懲罰權重解決樣本不均衡101

3.4.4　通過組合/集成方法解決樣本不均衡102

3.4.5　通過特徵選擇解決樣本不均衡102

3.4.6　代碼實操：Python處理樣本不均衡102

3.5　如何解決運營數據源的衝突問題106

3.5.1　為什麼會出現多數據源的衝突107

3.5.2　如何應對多數據源的衝突問題109

3.6　數據化運營要抽樣還是全量數據109

3.6.1　什麼時候需要抽樣110

3.6.2　如何進行抽樣110

3.6.3　抽樣需要注意的幾個問題111

3.6.4　代碼實操：Python數據抽樣113

3.7　解決運營數據的共線性問題116

3.7.1　如何檢驗共線性117

3.7.2　解決共線性的5種常用方法117

3.7.3　代碼實操：Python處理共線性問題118

3.8　有關相關性分析的混沌120

3.8.1　相關和因果是一回事嗎120

3.8.2　相關係數低就是不相關嗎121

3.8.3　代碼實操：Python相關性分析121

3.9　標準化，讓運營數據落入相同的範圍122

3.9.1　實現中心化和常態分配的Z-Score122

3.9.2　實現歸一化的Max-Min123

3.9.3　用於稀疏數據的MaxAbs123

3.9.4　針對離群點的RobustScaler123

3.9.5　代碼實操：Python數據標準化處理123

3.10　離散化，對運營數據做邏輯分層126

3.10.1　針對時間數據的離散化127

3.10.2　針對多值離散數據的離散化127

3.10.3　針對連續數據的離散化127

3.10.4　針對連續數據的二值化128

3.10.5　代碼實操：Python數據離散化處理128

3.11　數據處理應該考慮哪些運營業務因素133

3.11.1　考慮固定和突發運營周期133

3.11.2　考慮運營需求的有效性134

3.11.3　考慮交付時要貼合運營落地場景134

3.11.4　不要忽視業務專家經驗135

3.11.5　考慮業務需求的變動因素136

3.12　內容延伸：非結構化數據的預處理137

3.12.1　網頁數據解析137

3.12.2　網路用戶日誌解析144

3.12.3　圖像的基本預處理148

3.12.4　自然語言文本預處理154

3.13　本章小結157

第4章　跳過運營數據分析和挖掘的“大坑”159

4.1　聚類分析159

4.1.1　當心數據異常對聚類結果的影響160

4.1.2　超大數據量時應該放棄K均值算法160

4.1.3　聚類不僅是建模的終點，更是重要的中間預處理過程162

4.1.4　高維數據上無法套用聚類嗎163

4.1.5　如何選擇聚類分析算法164

4.1.6　代碼實操：Python聚類分析164

4.2　回歸分析172

4.2.1　注意回歸自變數之間的共線性問題172

4.2.2　相關係數、判定係數和回歸係數之間到底什麼關係172

4.2.3　判定係數是否意味著相應的因果聯繫173

4.2.4　注意套用回歸模型時研究自變數是否產生變化173

4.2.5　如何選擇回歸分析算法174

4.2.6　代碼實操：Python回歸分析174

4.3　分類分析183

4.3.1　防止分類模型的過擬合問題183

4.3.2　使用關聯算法做分類分析183

4.3.3　用分類分析來提煉規則、提取變數、處理缺失值184

4.3.4　類別劃分-分類算法和聚類算法都是好手185

4.3.5　如何選擇分類分析算法186

4.3.6　代碼實操：Python分類分析187

4.4　關聯分析195

4.4.1　頻繁規則不一定是有效規則195

4.4.2　不要被啤酒尿布的故事緊固你的思維196

4.4.3　被忽略的“負相關”模式真的毫無用武之地嗎197

4.4.4　頻繁規則只能打包組合套用嗎198

4.4.5　關聯規則的序列模式199

4.4.6　代碼實操：Python關聯分析200

4.5　異常檢測分析206

4.5.1　異常檢測中的“新奇檢測”模式207

4.5.2　將數據異常與業務異常相分離207

4.5.3　面臨維度災難時，異常檢測可能會失效208

4.5.4　異常檢測的結果能說明異常嗎208

4.5.5　代碼實操：Python異常檢測分析208

4.6　時間序列分析212

4.6.1　如果有自變數，為什麼還要用時間序列212

4.6.2　時間序列不適合商業環境複雜的企業213

4.6.3　時間序列預測的整合、橫向和縱向模式214

4.6.4　代碼實操：Python時間序列分析214

4.7　路徑、漏斗、歸因和熱力圖分析234

4.7.1　不要輕易相信用戶的頁面訪問路徑237

4.7.2　如何將路徑套用於更多用戶行為模式的挖掘？237

4.7.3　為什麼很多數據都顯示多渠道路徑的價值很小？238

4.7.4　點擊熱力圖真的反映了用戶的點擊喜好？239

4.7.5　為什麼歸因分析主要存在於線上的轉化行為240

4.7.6　漏斗分析和路徑分析有什麼區別240

4.8　其他數據分析和挖掘的忠告241

4.8.1　不要忘記數據質量的驗證241

4.8.2　不要忽視數據的落地性242

4.8.3　不要把數據陳列當作數據結論242

4.8.4　數據結論不要產生於單一指標244

4.8.5　數據分析不要預設價值立場244

4.8.6　不要忽視數據與業務的需求衝突問題245

4.9　內容延伸：非結構化數據的分析與挖掘246

4.9.1　詞頻統計246

4.9.2　詞性標註249

4.9.3　關鍵字提取253

4.9.4　文本聚類255

4.10　本章小結258

第5章　會員數據化運營260

5.1　會員數據化運營概述260

5.2　會員數據化運營關鍵指標261

5.2.1　會員整體指標261

5.2.2　會員行銷指標261

5.2.3　會員活躍度指標263

5.2.4　會員價值度指標265

5.2.5　會員終生價值指標266

5.2.6　會員異動指標266

5.3　會員數據化運營套用場景267

5.3.1　會員行銷267

5.3.2　會員關懷267

5.4　會員數據化運營分析模型268

5.4.1　會員細分模型268

5.4.2　會員價值度模型269

5.4.3　會員活躍度模型270

5.4.4　會員流失預測模型271

5.4.5　會員特徵分析模型272

5.4.6　行銷回響預測模型273

5.5　會員數據化運營分析小技巧274

5.5.1　使用留存分析新用戶質量274

5.5.2　使用AARRR做APP用戶生命周期分析275

5.5.3　藉助動態數據流關注會員狀態的輪轉276

5.5.4　使用協同過濾算法為新會員分析推送個性化信息277

5.6　會員數據化運營分析的“大實話”279

5.6.1　企業“不差錢”，還有必要做會員精準行銷嗎279

5.6.2　用戶滿意度取決於期望和給予的匹配程度280

5.6.3　用戶不購買就是流失了嗎280

5.6.4　來自調研問卷的用戶信息可信嗎281

5.6.5　不要盲目相信二八法則283

5.7　案例：基於RFM的用戶價值度分析283

5.7.1　案例背景283

5.7.2　案例主要套用技術284

5.7.3　案例數據284

5.7.4　案例過程284

5.7.5　案例數據結論294

5.7.6　案例套用和部署295

5.7.7　案例注意點295

5.7.8　案例引申思考296

5.8　案例：基於AdaBoost的行銷回響預測297

5.8.1　案例背景297

5.8.2　案例主要套用技術297

5.8.3　案例數據298

5.8.4　案例過程298

5.8.5　案例數據結論313

5.8.6　案例套用和部署313

5.8.7　案例注意點314

5.8.8　案例引申思考315

5.9　本章小結315

第6章　商品數據化運營317

6.1 　商品數據化運營概述317

6.2　商品數據化運營關鍵指標317

6.2.1　銷售類指標317

6.2.2　促銷活動指標320

6.2.3　供應鏈指標321

6.3　商品數據化運營套用場景323

6.3.1　銷售預測323

6.3.2　庫存分析323

6.3.3　市場分析324

6.3.4　促銷分析324

6.4　商品數據化運營分析模型325

6.4.1　商品價格敏感度模型325

6.4.2　新產品市場定位模型326

6.4.3　銷售預測模型327

6.4.4　商品關聯銷售模型327

6.4.5　異常訂單檢測328

6.4.6　商品規劃的最優組合328

6.5　商品數據化運營分析小技巧330

6.5.1　使用層次分析法將定量與定性分析結合331

6.5.2　通過假設檢驗做促銷拉動分析333

6.5.3　使用BCG矩陣做商品結構分析334

6.5.4　巧用4P分析建立完善的商品運營分析結構336

6.6　商品數據化運營分析的“大實話”337

6.6.1　為什麼很多企業會以低於進價的價格大量銷售商品337

6.6.2　促銷活動真的是在促進商品銷售嗎339

6.6.3　用戶關注的商品就是要買的商品嗎340

6.6.4　提供的選擇過多其實不利於商品銷售341

6.7　案例：基於超參數最佳化的Gradient Boosting的銷售預測341

6.7.1　案例背景341

6.7.2　案例主要套用技術341

6.7.3　案例數據342

6.7.4　案例過程343

6.7.5　案例數據結論351

6.7.6　案例套用和部署351

6.7.7　案例注意點351

6.7.8　案例引申思考351

6.8　案例：基於LogisticRegression、

RandomForest、Bagging機率投票

組合模型的異常檢測352

6.8.1　案例背景352

6.8.2　案例主要套用技術352

6.8.3　案例數據353

6.8.4　案例過程353

6.8.5　案例數據結論364

6.8.6　案例套用和部署364

6.8.7　案例注意點365

6.8.8　案例引申思考365

6.9　本章小結367

第7章　流量數據化運營369

7.1　流量數據化運營概述369

7.2　8大流量分析工具369

7.3　如何選擇第三方流量分析工具372

7.4　流量採集分析系統的工作機制375

7.4.1　流量數據採集376

7.4.2　流量數據處理379

7.4.3　流量數據套用380

7.5　流量數據與企業數據的整合381

7.5.1　流量數據整合的意義381

7.5.2　流量數據整合的範疇382

7.5.3　流量數據整合的方法382

7.6　流量數據化運營指標383

7.6.1　站外行銷推廣指標383

7.6.2　網站流量數量指標385

7.6.3　網站流量質量指標386

7.7　流量數據化運營套用場景389

7.7.1　流量採購389

7.7.2　流量分發391

7.8　流量數據化運營分析模型391

7.8.1　流量波動檢測392

7.8.2　渠道特徵聚類393

7.8.3　廣告整合傳播模型393

7.8.4　流量預測模型397

7.9　流量數據化運營分析小技巧398

7.9.1　給老闆提供一頁紙的流量dashboard398

7.9.2　關注趨勢、重要事件和潛在因素是日常報告的核心400

7.9.3　使用從細分到多層下鑽數據分析400

7.9.4　通過跨屏追蹤解決用戶跨設備和瀏覽器的訪問行為401

7.9.5　基於時間序列的用戶群體過濾403

7.10　流量數據化運營分析的“大實話”406

7.10.1　流量數據分析的價值其實沒那么大406

7.10.2　如何將流量的實時分析價值最大化406

7.10.3　行銷流量的質量評估是難點工作407

7.10.4　個性化的媒體投放仍然面臨很多問題408

7.10.5　傳統的網站分析方法到底缺少了什麼409

7.11　案例：基於自動節點樹的數據異常原因下探分析413

7.11.1　案例背景413

7.11.2　案例主要套用技術414

7.11.3　案例數據415

7.11.4　案例過程416

7.11.5　案例數據結論430

7.11.6　案例套用和部署431

7.11.7　案例注意點432

7.11.8　案例引申思考432

7.12　案例：基於自動K值的KMeans廣告效果聚類分析433

7.12.1　案例背景433

7.12.2　案例主要套用技術433

7.12.3　案例數據434

7.12.4　案例過程434

7.12.5　案例數據結論446

7.12.6　案例套用和部署447

7.12.7　案例注意點448

7.12.8　案例引申思考448

7.13　本章小結449

第8章　內容數據化運營451

8.1　內容數據化運營概述451

8.2　內容數據化運營指標452

8.3　內容數據化運營套用場景455

8.4　內容數據化運營分析模型456

8.4.1　情感分析模型456

8.4.2　搜尋最佳化模型 457

8.4.3　文章關鍵字模型457

8.4.4　主題模型458

8.4.5　垃圾信息檢測模型459

8.5　內容數據化運營分析小技巧460

8.5.1　通過AB測試和多變數測試找到最佳內容版本460

8.5.2　通過螢幕瀏覽占比了解用戶到底看了頁面多少內容461

8.5.3　通過數據分析系統與CMS打通實現個性化內容運營462

8.5.4　將個性化推薦從網站套用到APP端466

8.6　內容數據化運營分析的“大實話”467

8.6.1　個性化內容運營不僅是整合CMS和數據系統467

8.6.2　用戶在著陸頁上不只有跳出和繼續兩種狀態467

8.6.3　“人工組合”的內容運營價值最大化並非不能實現468

8.6.4　影響內容點擊率的因素不僅有位置469

8.7　案例：基於潛在狄利克雷分配（LDA）的內容主題挖掘470

8.7.1　案例背景470

8.7.2　案例主要套用技術470

8.7.3　案例數據471

8.7.4　案例過程471

8.7.5　案例數據結論480

8.7.6　案例套用和部署481

8.7.7　案例注意點481

8.7.8　案例引申思考481

8.8　案例：基於多項式貝葉斯的增量學習的文本分類482

8.8.1　案例背景482

8.8.2　案例主要套用技術482

8.8.3　案例數據482

8.8.4　案例過程483

8.8.5　案例數據結論491

8.8.6　案例套用和部署491

8.8.7　案例注意點491

8.8.8　案例引申思考492

8.9　本章小結492

第9章　數據化運營分析的終極秘籍495

9.1　撰寫出彩的數據分析報告的5個建議495

9.1.1　完整的報告結構495

9.1.2　精緻的頁面版式496

9.1.3　漂亮的可視化圖形498

9.1.4　突出報告的關鍵信息500

9.1.5　用報告對象習慣的方式撰寫報告501

9.2　數據化運營支持的4種擴展方式502

9.2.1　數據API502

9.2.2　數據模型503

9.2.3　數據產品503

9.2.4　運營產品504

9.3　提升數據化運營價值度的5種途徑504

9.3.1　數據源：不只有結構化的數據，還有文本、圖片、視頻、語音504

9.3.2　自動化：建立自動任務，解除重複勞動505

9.3.3　未卜先知：建立智慧型預警模型，不要讓運營先找你505

9.3.4　智慧型化：向BI-AI的方向走507

9.3.5　場景化：將數據嵌入運營環節之中507

9.4　本章小結508

附錄509

附錄A　公開數據集509

附錄B　Python數據工具箱516