Spark大數據實時分析實戰

內容簡介

　　《Spark大數據實時分析實戰》分為六個項目，通過真實大數據實時分析項目的導入，引導讀者完成大數據實時分析平台Spark的搭建，通過對基於Hadoop生態圈中Yarn資源調度框架，搭建Spark日誌管理系統，搭建Kafka分散式訊息系統，在工作中實現使用SparkStreaming實時讀取Kafka中的數據進行實時處理。

　　《Spark大數據實時分析實戰》適用於大數據技術與套用、數據科學與大數據技術等電子信息類專業教學的教材，也可作為工程技術人員的參考書。

圖書目錄

項目一初識Spark技術

任務1．1 數據處理系統

1．1．1 數據存儲技術

1．1．2 數據分析技術

1．1．3 批數據和實時數據

1．1．4 數據價值挖掘

任務1．2 實時數據處理

1．2．1 實時數據的價值

1．2．2 實時數據處理技術

1．2．3 Spark實時數據處理

項目二 Spark集群的構建與安裝

任務2．1 Spark集群搭建

2．1．1 平台選擇

2．1．2 軟體選擇

2．1．3 Spark集群構建流程

任務2．2 Spark集群規劃

2．2．1 Spark集群節點劃分

2．2．2 軟體要求

2．2．3 網路拓撲結構規劃

任務2．3 Spark安裝準備

2．3．1 JDK安裝

2．3．2 節點間的配置

2．3．3 Spark安裝包下載

任務2．4 Spark集群搭建

2．4．1 配置Master節點

2．4．2 配置Worker節點

2．4．3 分發安裝包

2．4．4 啟動集群

任務2．5 驗證Spark

2．5．1 驗證Spark進程

2．5．2 驗證WEBUI界面

2．5．3 驗證集群功能

任務2．6 Spark客戶端搭建

2．6．1 客戶端介紹

2．6．2 客戶端搭建及使用

項目三 Spark基於Yarn搭建

任務3．1 基於Yarn構建介紹

3．1．1 基於Yarn搭建環境配置

3．1．2 Hadoop集群

3．1．3 啟動Hadoop集群

3．1．4 驗證Hadoop集群節點

任務3．2 基於Yam搭建

3．2．1 節點劃分配置

3．2．2 配置Spark on Yarn

3．2．3 驗證Spark on Yarn

項目四日誌伺服器搭建

任務4．1 日誌伺服器配置

4．1．1 HDFS配置

4．1．2 Spark配置

4．1．3 啟動日誌伺服器

4．1．4 查看日誌

任務4．2 驗證日誌伺服器

4．2．1 Spark-Shell介紹

Spark大數據實時分析實戰

基本介紹

內容簡介

圖書目錄

相關詞條

熱門詞條