Spark全棧數據分析

內容簡介

本書介紹了作者提出的敏捷數據科學的方法論，結合作者在行業中多年的實際工作經驗，為數據科學團隊提供了一套以類似敏捷開發的方法開展數據科學研究的實踐經驗。

全書基於Spark做全棧數據分析，書中展示了工業界一些常見工具的使用，包括從前端顯示到後端處理的各個環節，手把手幫助數據科學家快速將理論轉化為真正面向用戶的應用程式，從而讓讀者在利用數據創造真正價值的同時，也能不斷完善自己的研究。本書適合初學者閱讀，數據科學家、工程師、分析師都能在本書中有所收穫。

圖書目錄

前言 xiv

第Ⅰ部分　準備工作

第1章　理論 3

導論 .3

定義 .5

方法學 5

敏捷數據科學宣言 6

瀑布模型的問題 .10

研究與套用開發 11

敏捷軟體開發的問題 .14

最終質量：償還技術債 14

瀑布模型的拉力 15

數據科學過程 .16

設定預期 17

數據科學團隊的角色 18

認清機遇與挑戰 19

適應變化 21

過程中的注意事項 .23

代碼審核與結對編程 25

敏捷開發的環境：提高生產效率 25

用大幅列印實現想法 27

第2章　敏捷工具 29

可伸縮性=易用性 .30

敏捷數據科學之數據處理 .30

搭建本地環境 .32

配置要求 33

配置Vagrant .33

下載數據 33

搭建EC2環境 34

下載數據 38

下載並運行代碼 .38

下載代碼 38

運行代碼 38

Jupyter筆記本 .39

工具集概覽 .39

敏捷開發工具棧的要求 39

Python 3 .39

使用JSON行和Parquet序列化事件 .42

收集數據 45

使用Spark進行數據處理 .45

使用MongoDB發布數據 .48

使用Elasticsearch搜尋數據 .50

使用Apache Kafka分發流數據 .54

使用PySpark Streaming處理流數據 .57

使用scikit-learn與Spark MLlib進行機器學習 58

使用 Apache Airflow（孵化項目）進行調度 59

反思我們的工作流程 70

輕量級網路套用 70

展示數據 73

本章小結 .75

Spark全棧數據分析

基本介紹

內容簡介

圖書目錄

相關詞條

熱門詞條