《Spark Cookbook（中文版）》是2016年10月人民郵電出版社出版的圖書，作者是[印度]Rishi Yadav(亞達夫)。
基本介紹
- 中文名：Spark Cookbook（中文版）
- 作者：[印度]Rishi Yadav(亞達夫)
- 出版社：人民郵電出版社
- 出版時間：2016年10月
- 頁數：190 頁
- 定價：45 元
- 開本：16 開
- 裝幀：平裝
- ISBN：9787115429667
內容簡介,圖書目錄,
內容簡介
Spark是一個基於記憶體計算的開源集群計算系統，它非常小巧玲瓏，讓數據分析更加快速，已逐漸成為新一代大數據處理平台中的佼佼者。
本書內容分為12章，從認識Apache Spark開始講解，陸續介紹了Spark的使用、外部數據源、Spark SQL、Spark Streaming、機器學習、監督學習中的回歸和分類、無監督學習、推薦系統、圖像處理、最佳化及調優等內容。
本書適合大數據領域的技術人員，可以幫助他們更好地洞悉大數據，本書也適合想要學習Spark進行大數據處理的人員，它將是一本絕 佳的參考教程。
圖書目錄
第 1章 開始使用Apache Spark 1
1.1 簡介 1
1.2 使用二進制檔案安裝Spark 2
1.3 通過Maven構建Spark源碼 5
1.4 在Amazon EC2上部署Spark 7
1.5 在集群上以獨立模式部署
Spark 13
1.6 在集群上使用Mesos部署Spark 18
1.7 在集群上使用YARN部署 19
1.8 使用Tachyon作為堆外存儲層 22
第 2章 使用Spark開發套用 27
2.1 簡介 27
2.2 探索Spark shell 27
2.3 在Eclipse中使用Maven開發Spark套用 29
2.4 在Eclipse中使用SBT開發Spark套用 33
2.5 在Intellij IDEA中使用Maven開發Spark套用 34
2.6 在Intellij IDEA中使用SBT開發Spark套用 36
第3章 外部數據源 38
3.1 簡介 38
3.2 從本地檔案系統載入數據 39
3.3 從HDFS載入數據 40
3.4 從HDFS載入自定義輸入格式的數據 45
3.5 從Amazon S3載入數據 46
3.6 從Apache Cassandra載入數據 49
3.7 從關係型資料庫載入數據 54
第4章 Spark SQL 57
4.1 簡介 57
4.2 理解Catalyst最佳化器 60
4.3 創建HiveContext 63
4.4 使用case類生成數據格式 66
4.5 編程指定數據格式 67
4.6 使用Parquet格式載入及存儲數據 69
4.7 使用JSON格式載入及存儲數據 73
4.8 從關係型資料庫載入及存儲數據 75
4.9 從任意數據源載入及存儲數據 78
第5章 Spark Streaming 80
5.1 簡介 80
5.2 使用Streaming統計字數 82
5.3 Twitter流數據處理 84
5.4 Kafka流數據處理 88
第6章 機器學習——MLlib 94
6.1 簡介 94
6.2 創建向量 95
6.3 創建向量標籤 97
6.4 創建矩陣 99
6.5 計算概述統計量 101
6.6 計算相關性 102
6.7 進行假設檢驗 104
6.8 使用ML創建機器學習
流水線 106
第7章 監督學習之回歸——MLlib 109
7.1 簡介 109
7.2 使用線性回歸 110
7.3 理解代價函式 112
7.4 使用Lasso線性回歸 116
7.5 使用嶺回歸 117
第8章 監督學習之分類——MLlib 119
8.1 簡介 119
8.2 邏輯回歸分類 119
8.3 支持向量機二元分類 124
8.4 決策樹分類 127
8.5 隨機森林分類 134
8.6 梯度提升樹（GBTs）分類 139
8.7 樸素貝葉斯分類 140
第9章 無監督學習——MLlib 143
9.1 簡介 143
9.2 使用k-means聚類 144
9.3 主成分分析的降維 149
9.4 奇異值分解降維 155
第 10章 推薦系統 159
10.1 簡介 159
10.2 顯性反饋的協同過濾 161
10.3 隱性反饋的協同過濾 164
第 11章 圖像處理——GraphX 169
11.1 簡介 169
11.2 基本圖像運算 170
11.3 使用PageRank 171
11.4 查找連通分量 174
11.5 相鄰聚合實現 177
第 12章 最佳化及調優 180
12.1 簡介 180
12.2 記憶體最佳化 183
12.3 使用壓縮提升性能 185
12.4 使用序列化提升性能 186
12.5 最佳化垃圾回收 187
12.6 最佳化並行度的級別 187
12.7 理解未來的最佳化——Tungsten
項目 188
