《大數據處理之道》是2016年電子工業出版社出版的圖書，作者是何金池。
基本介紹
- 中文名：大數據處理之道
- 作者：何金池
- 出版社：電子工業出版社
- 出版時間：2016年09月01日
- 頁數：270 頁
- 定價：79 元
- 開本：16 開
- 裝幀：平裝
- ISBN：9787121287237
內容簡介,作者簡介,目錄,
內容簡介
本書覆蓋了當前主流的大數據處理領域的熱門技術，包括Hadoop, Spark, Storm, Dremel/Drill等,詳細的分析了各種技術的套用場景和優缺點。同時，本書闡述了大數據下的日誌分析系統，重點講解了ELK日誌處理方案。最後分析了大數據處理技術的發展趨勢。
本書以幽默大話的表述風格，使讀者容易理解，輕鬆掌握。重點從各個技術的起源、設計思想、構架方面闡述，幫助讀者能從根源上悟出大數據處理之道。
本書適合大數據開發、大數據測試人員，以及其他軟體開發或者管理人員和計算愛好者閱讀。
作者簡介
何金池 IBM高級軟體工程師，主要從事高性能計算和大數據領域研發工作，熟悉目前大數據處理領域的各項熱門技術，擅長於大數據環境下的日誌分析和處理，具有多年的一線軟體研發測試經驗。
目錄
0“瘋狂”的大數據 1
0.1大數據時代 1
0.2數據就是“金庫” 3
0.3讓大數據“活”起來 4
第1篇Hadoop軍營
1 Hadoop一石激起千層浪 7
1.1Hadoop誕生——不僅僅是玩具 7
1.2Hadoop發展——各路英雄集結 8
1.3Hadoop和它的小夥伴們 10
1.4Hadoop套用場景 12
1.5小結 13
2 MapReduce奠定基石 14
2.1MapReduce設計思想 14
2.2MapReduce運行機制 19
2.2.1MapReduce的組成 19
2.2.2MapReduce作業運行流程 20
2.2.3JobTracker解剖 26
2.2.4TaskTracker解剖 34
2.2.5失敗場景分析 42
2.3MapReduce實例分析 43
2.3.1運行WordCount程式 44
2.3.2WordCount源碼分析 45
2.4小結 48
3 分散式檔案系統 49
3.1群雄並起的DFS 49
3.2HDFS檔案系統 51
3.2.1HDFS 設計與架構 52
3.2.2HDFS 操作與API 56
3.2.3HDFS的優點及適用場景 60
3.2.4HDFS的缺點及改進策略 61
3.3小結 62
4 Hadoop體系的“四劍客” 63
4.1數據倉庫工具Hive 63
4.1.1Hive緣起何處 63
4.1.2Hive和資料庫的區別 65
4.1.3Hive設計思想與架構 66
4.1.4適用場景 74
4.2大數據倉庫HBase 74
4.2.1HBase因何而生 74
4.2.2HBase的設計思想和架構 77
4.2.3HBase最佳化技巧 84
4.2.4HBase和Hive的區別 86
4.3Pig程式語言 87
4.3.1Pig的緣由 87
4.3.2Pig的基本架構 88
4.3.3Pig與Hive的對比 90
4.3.4Pig的執行模式 90
4.3.5Pig Latin語言及其套用 91
4.4協管員ZooKeeper 96
4.4.1ZooKeeper是什麼 96
4.4.2ZooKeeper的作用 97
4.4.3ZooKeeper的架構 98
4.4.4ZooKeeper的數據模型 100
4.4.5ZooKeeper的常用接口及操作 102
4.4.6ZooKeeper的套用場景分析 105
4.5小結 108
5 Hadoop資源管理與調度 110
5.1Hadoop調度機制 110
5.1.1FIFO 111
5.1.2計算能力調度器 111
5.1.3公平調度器 113
5.2Hadoop YARN資源調度 114
5.2.1YARN產生的背景 114
5.2.2Hadoop YARN的架構 116
5.2.3YARN的運作流程 118
5.3Apache Mesos資源調度 120
5.3.1Apache Mesos的起因 120
5.3.2Apache Mesos的架構 121
5.3.3基於Mesos的Hadoop 123
5.4Mesos與YARN對比 127
5.5小結 128
6 Hadoop集群管理之道 129
6.1Hadoop 集群管理與維護 129
6.1.1Hadoop集群管理 129
6.1.2Hadoop集群維護 131
6.2Hadoop 集群調優 132
6.2.1Linux檔案系統調優 132
6.2.2Hadoop通用參數調整 133
6.2.3HDFS相關配置 133
6.2.4MapReduce相關配置 134
6.2.5Map任務相關配置 136
6.2.6HBase搭建重要的HDFS參數 137
6.3Hadoop 集群監控 137
6.3.1Apache Ambari監控 137
6.3.2Ganglia監控Hadoop 138
6.4小結 138
第2篇Spark星火燎原
7 Spark寶刀出鞘 141
7.1Spark的歷史淵源 141
7.1.1Spark的誕生 141
7.1.2Spark的發展 142
7.2Spark和Hadoop MapReduce對比 143
7.3Spark的適用場景 145
7.4Spark的硬體配置 146
7.5Spark架構 147
7.5.1Spark生態架構 147
7.5.2Spark運行架構 149
7.6小結 151
8 Spark核心RDD 153
8.1RDD簡介 153
8.1.1什麼是RDD 153
8.1.2為什麼需要RDD 154
8.1.3RDD本體的設計 154
8.1.4RDD與分散式共享記憶體 155
8.2RDD的存儲級別 155
8.3RDD依賴與容錯 157
8.3.1RDD依賴關係 157
8.3.2RDD容錯機制 160
8.4RDD操作與接口 161
8.4.1RDD Transformation操作與接口 162
8.4.2RDD Action操作與接口 164
8.5RDD編程示例 165
8.6小結 166
9 Spark運行模式和流程 167
9.1Spark運行模式 167
9.1.1Spark的運行模式列表 167
9.1.2Local模式 168
9.1.3Standalone模式 169
9.1.4Spark on Mesos模式 171
9.1.5Spark on YARN 模式 173
9.1.6Spark on EGO 模式 175
9.2Spark作業流程 177
9.2.1YARN-Client模式的作業流程 178
9.2.2YARN-Cluster模式的作業流程 179
9.3小結 181
10 Shark和Spark SQL 183
10.1從Shark到Spark SQL 183
10.1.1Shark的撤退是進攻 183
10.1.2Spark SQL接力 185
10.1.3Spark SQL與普通SQL的區別 186
10.2Spark SQL套用架構 187
10.3Spark SQL之DataFrame 188
10.3.1什麼是DataFrame 188
10.3.2DataFrame的創建 188
10.3.3DataFrame的使用 190
10.4Spark SQL運行過程分析 190
10.5小結 192
11 Spark Streaming流數據處理新貴 193
11.1Spark Streaming是什麼 193
11.2Spark Streaming的架構 194
11.3Spark Streaming的操作 195
11.3.1Spark Streaming的Transformation操作 196
11.3.2Spark Streaming的Window操作 197
11.3.3Spark Streaming的Output操作 198
11.4Spark Streaming性能調優 198
11.5小結 200
12 Spark GraphX圖計算系統 201
12.1圖計算系統 201
12.1.1圖存儲模式 202
12.1.2圖計算模式 203
12.2Spark GraphX的框架 206
12.3Spark GraphX的存儲模式 207
12.4Spark GraphX的圖運算符 208
12.5小結 211
13 Spark Cluster管理 212
13.1Spark Cluster部署 212
13.2Spark Cluster管理與監控 213
13.2.1記憶體最佳化機制 213
13.2.2Spark日誌系統 213
13.3Spark 高可用性 215
13.4小結 216
第3篇其他大數據處理技術
14 專為流數據而生的Storm 218
14.1Storm起因 218
14.2Storm的架構與組件 220
14.3Storm的設計思想 222
14.4Storm與Spark的區別 224
14.5Storm的適用場景 225
14.6Storm的套用 226
14.7小結 227
15 Dremel和Drill 228
15.1Dremel和Drill的歷史背景 228
15.2Dremel的原理與套用 230
15.3Drill的架構與流程 232
15.4Dremel和Drill的適用場景與套用 234
15.5小結 234
第4篇大數據下的日誌分析系統
16 日誌分析解決方案 236
16.1百花齊放的日誌處理技術 236
16.2日誌處理方案ELK 238
16.2.1ELK的三大金剛 238
16.2.2ELK的架構 240
16.2.3ELK的組網形式 242
16.3Logstash日誌收集解析 245
16.3.1Input Plugins及套用示例 246
16.3.2Filter Plugins及套用示例 248
16.3.3Output Plugins及套用示例 249
16.4ElasticSearch存儲與搜尋 250
16.4.1ElasticSearch的主要概念 251
16.4.2ElasticSearch Rest API 252
16.5Kibana展示 253
16.6小結 255
17 ELK集群部署與套用 256
17.1ELK集群部署與最佳化 256
17.1.1ELK HA集群部署 256
17.1.2ElasticSearch最佳化 257
17.2如何開發自己的外掛程式 259
17.3ELK在大數據運維系統中的套用 261
17.4ELK實戰套用 262
17.4.1ELK監控Spark集群 262
17.4.2ELK監控系統資源狀態 263
17.4.3ELK輔助日誌管理和故障排查 263
17.5小結 264
第5篇數據分析技術前景展望
18 大數據處理的思考與展望 266
18.1大數據時代的思考 266
18.2大數據處理技術的發展趨勢 267
18.3小結 270
