《Spark大數據商業實戰三部曲》是2020年清華大學出版社出版的圖書,作者是王家林。
基本介紹
- 中文名:Spark大數據商業實戰三部曲
- 作者:王家林
- 出版時間:2020年
- 出版社:清華大學出版社
- ISBN:9787302544531
內容簡介,圖書目錄,
內容簡介
《Spark大數據商業實戰三部曲:核心解密 商業案例 性能調優(第2版)》基於 Spark 2.4.X版本,以 Spark商業案例實戰和 Spark在生產環境下幾乎所有類型的性能調優為核心,以 Spark核心解密為基石,對企業生產環境下的 Spark商業案例與性能調優抽絲剝繭地進行剖析。全書共分 4篇,核心解密篇基於 Spark源碼,從一個實戰案例入手,循序漸進地全面解析 Spark 2.4.X版本的新特性及 Spark核心源碼;商業案例篇選取 Spark開發中具代表性的經典學習案例,在案例中綜合介紹 Spark的大數據技術;性能調優篇覆蓋 Spark在生產環境下的所有調優技術;Spark+AI解密篇講解深度學習實踐、 Spark+PyTorch案例實戰、Spark+TensorFlow實戰以及 Spark上的深度學習核心解密。
該書適合所有 Spark學習者和從業人員使用。對於有分散式計算框架套用經驗的人員,該書也可作為 Spark高手修煉的參考用書。該書還適合作為高等院校的大數據課程教材。
圖書目錄
第1篇 核心解密篇
第1章 電光石火間體驗Spark 2.4 開發實戰
1.1 通過RDD實戰電影點評系統入門及源碼閱讀
1.1.1 Spark核心概念圖解
1.1.2 通過RDD實戰電影點評系統案例
1.2 通過DataFrame和DataSet實戰電影點評系統
1.2.1 通過DataFrame實戰電影點評系統案例
1.2.2 通過DataSet實戰電影點評系統案例
1.3 Spark2.4 源碼閱讀環境搭建及源碼閱讀體驗
第2章 Spark 2.4 技術及原理
2.1 Spark 2.4 綜述
2.1.1 連續應用程式
2.1.2 新的API
2.2 Spark 2.4 Core
2.2.1 第二代Tungsten引擎
2.2.2 SparkSession
2.2.3 累加器API
2.3 Spark 2.4 SQL
2.3.1 Spark SQL
2.3.2 DataFrame和Dataset API
2.3.3 Timed Window
2.4 Spark 2.4 Streaming
2.4.1 Structured Streaming
2.4.2 增量輸出模式
2.5 Spark 2.4 MLlib
2.5.1 基於DataFrame的Machine Learning API
2.5.2 R的分散式算法
2.6 Spark 2.4 GraphX
第3章 Spark的靈魂:RDD和DataSet
3.1 為什麼說RDD和DataSet是Spark的靈魂
3.1.1 RDD的定義及五大特性剖析
3.1.2 DataSet的定義及內部機制剖析
3.2 RDD彈性特性7個方面解析
3.3 RDD依賴關係
3.3.1 窄依賴解析
3.3.2 寬依賴解析
3.4 解析Spark中的DAG邏輯視圖
3.4.1 DAG生成的機制
3.4.2 DAG邏輯視圖解析
3.5 RDD內部的計算機制
3.5.1 Task解析
3.5.2 計算過程深度解析
3.6 SparkRDD容錯原理及其四大核心要點解析
3.6.1 Spark RDD容錯原理
3.6.2 RDD容錯的四大核心要點
3.7 SparkRDD中Runtime流程解析
3.7.1 Runtime架構圖
3.7.2 生命周期
3.8 通過WordCount實戰解析Spark RDD內部機制
3.8.1 Spark WordCount動手實踐
3.8.2 解析RDD生成的內部機制
3.9 基於DataSet的代碼如何轉化為RDD
第4章 Spark Driver啟動內幕剖析
4.1 Spark Driver Program剖析
4.1.1 Spark Driver Program
4.1.2 SparkContext深度剖析
4.1.3 SparkContext源碼解析
4.2 DAGScheduler解析
4.2.1 DAG的定義
4.2.2 DAG的實例化
4.2.3 DAGScheduler劃分Stage的原理
4.2.4 DAGScheduler劃分Stage的具體算法
4.2.5 Stage內部Task獲取最佳位置的算法
4.3 TaskScheduler解析
4.3.1 TaskScheduler原理剖析
4.3.2 TaskScheduler源碼解析
4.4 SchedulerBackend解析
4.4.1 SchedulerBackend原理剖析
4.4.2 SchedulerBackend源碼解析
4.4.3 Spark程式的註冊機制
……
第2篇 商業案例篇
第3篇 性能調優篇
第4篇 Spark+AI解密篇