Spark大數據分析實戰

內容介紹

本書作為Spark的入門書，從Spark核心程式語言Scala講起，涵蓋當前Spark主流的開發組件。以實操為主，深入講解每一個操作步驟，包括Spark RDD離線數據處理、Spark SQL快速結構化數據處理、Spark Streaming實時數據處理，同時包括案例講解、源碼剖析、常用Shell命令和Java API詳解。即使沒有任何Spark基礎的讀者也可以對照書中的步驟成功搭建屬於自己的Spark集群，是一本真正的實操指南書籍。本書可作為大數據開發人員的隨身手冊，也可作為Spark新手入門的指導書籍，以及大數據從業者的參考用書。

作品目錄

內容簡介

作者簡介

前言

第1章 Spark開發準備——Scala基礎

1.1　什麼是Scala

1.2　安裝Scala

1.3　Scala基礎

1.4　集合

1.5　類和對象

1.6　抽象類和特質

1.7　使用Eclipse創建Scala項目

1.8　使用IntelliJ IDEA創建Scala項目

第2章初識Spark

2.1　大數據開發總體架構

2.2　什麼是Spark

2.3　Spark主要組件

2.4　Spark運行時架構

2.5　Spark集群搭建與測試

2.6　Spark應用程式的提交

2.7　Spark Shell的使用

第3章 Spark RDD彈性分散式數據集

3.1　什麼是RDD

3.2　創建RDD

3.3　RDD的運算元

3.4　RDD的分區

3.5　RDD的依賴

3.6　RDD的持久化

3.7　RDD的檢查點

3.8　共享變數

3.9　案例分析：Spark RDD實現單詞計數

3.10　案例分析：Spark RDD實現分組求TopN

3.11　案例分析：Spark RDD實現二次排序

3.12　案例分析：Spark RDD計算成績平均分

3.13　案例分析：Spark RDD倒排索引統計每日新增用戶

3.14　案例分析：Spark RDD讀寫HBase

3.15　案例分析：Spark RDD數據傾斜問題解決

第4章 Spark核心源碼分析

4.1　Spark集群啟動原理分析

4.2　Spark應用程式提交原理分析

4.3　Spark作業工作原理分析

4.4　Spark檢查點原理分析

第5章 Spark SQL結構化數據處理引擎

Spark大數據分析實戰

基本介紹

內容介紹

作品目錄

相關詞條

熱門詞條