《大數據套用技術：原理+技術+實戰》是2021年人民郵電出版社出版的圖書。
基本介紹
- 中文名：大數據套用技術：原理+技術+實戰
- 作者：編者:王國珺//饒緒黎//王鵬|責編:李召
- 類別：教材類圖書
- 出版社：人民郵電出版社
- 出版時間：2021年
- 開本：128 開
- 裝幀：平裝
- ISBN：9787115562135
內容簡介,圖書目錄,作者簡介,
內容簡介
本書主要結合當前流行的大數據框架Hadoop、HBase、Hive、、Storm、Flume、Kafka、Spark、Spark GraphX，採用案例形式系統地講解大數據套用技術的相關知識。全書共有8章，分別介紹了大數據概論、大數據基礎知識、大數據檔案存儲系統、大數據檔案存儲系統、大數據計算技術、大數據應用程式協調服務、大數據存儲套用技術、大數據倉庫套用技術、大數據實時套用技術。為了讓讀者能夠及時地檢驗自己的學習效果，把握自己的學習進度，各章後面都附有相應的習題。
圖書目錄
第1章 大數據概論 1
1.1 數據的基本概念 1
1.1.1 什麼是數據 1
1.1.2 數據組成結構 2
1.1.3 數據的價值 4
1.2 什麼是大數據 4
1.2.1 大數據產生背景 4
1.2.2 大數據發展的原動力 5
1.2.3 大數據基本概念與特徵 6
1.2.4 大數據與雲計算 6
1.2.5 大數據與人工智慧 7
1.3 大數據主要技術 8
1.3.1 概述 8
1.3.2 大數據採集與處理 9
1.3.3 大數據存儲技術 9
1.3.4 大數據計算技術 11
1.3.5 大數據可視化 12
1.3.6 大數據安全 12
1.4 大數據主流框架 14
1.4.1 Hadoop 14
1.4.2 ZooKeeper 14
1.4.3 HBase 14
1.4.4 Hive 14
1.4.5 Storm 15
1.4.6 Flume 15
1.4.7 Kafka 15
1.5 本章小結 15
1.6 習題 16
第2章 大數據基礎知識 17
2.1 概述 17
2.1.1 Hadoop產生背景 17
2.1.2 Hadoop核心模組 18
2.1.3 Hadoop相關項目 19
2.2 Common 20
2.3 HDFS 20
2.3.1 HDFS設計思想 20
2.3.2 HDFS體系結構 21
2.3.3 檔案系統命名空間 22
2.3.4 數據複製 22
2.3.5 副本放置策略 23
2.3.6 副本選擇 23
2.3.7 安全模式 23
2.3.8 元數據的持久性 24
2.3.9 通信協定 24
2.3.10 健壯性 24
2.4 YARN 25
2.5 MapReduce 27
2.6 Hadoop套用場景 29
2.7 Hadoop環境配置 29
2.7.1 Hadoop配置基礎知識 29
2.7.2 Hadoop安裝模式 29
2.7.3 Hadoop版本選擇 30
2.7.4 Hadoop偽分布模式搭建 31
2.8 基於Hadoop平台的IDEA開發環境搭建 36
2.8.1 Maven項目的創建 36
2.8.2 編寫經典的MapReduce
程式WordCount 38
2.9 本章小結 46
2.10 習題 46
第3章 大數據檔案存儲系統 48
3.1 數據塊 48
3.2 HDFS工作流 49
3.2.1 HDFS寫數據過程 49
3.2.2 HDFS讀數據過程 50
3.3 HDFS應用程式設計 51
3.3.1 HDFS Shell命令 51
3.3.2 Web接口 53
3.3.3 HDFS API 55
3.3.4 HDFS API寫操作 57
3.3.5 HDFS API讀操作 59
3.4 HDFS存儲格式 60
3.5 Hadoop I/O 61
3.5.1 壓縮 61
3.5.2 I/O序列化類型 64
3.6 本章小結 67
3.7 習題 67
第4章 大數據計算技術 68
4.1 MapReduce運行過程 68
4.2 MapReduce編程過程 70
4.3 MapReduce數據類型 72
4.4 Mapper輸入 73
4.5 Shuffle原理 76
4.5.1 Shuffle工作原理 76
4.5.2 自定義分區 79
4.5.3 自定義排序 81
4.5.4 自定義分組 82
4.6 Combiner本地合併最佳化 83
4.7 Reducer輸出 84
4.8 計數器 89
4.9 MapReduce套用開發 91
4.9.1 小計數值 92
4.9.2 全排序 94
4.9.3 二次排序 97
4.10 本章小結 102
4.11 習題 102
第5章 大數據應用程式協調服務 103
5.1 ZooKeeper概述 103
5.1.1 ZooKeeper簡介 103
5.1.2 ZooKeeper常用術語 104
5.1.3 ZooKeeper設計目標 104
5.1.4 數據模型和分層命名空間 105
5.1.5 ZooKeeper工作原理 106
5.2 ZooKeeper集群搭建 107
5.2.1 集群規劃 107
5.2.2 ZooKeeper集群安裝 107
5.3 ZooKeeper與Hadoop高可用性 110
5.4 Hadoop高可用性集群部署 111
5.4.1 集群規劃 111
5.4.2 集群部署 112
5.5 本章小結 122
5.6 習題 122
第6章 大數據存儲套用技術 123
6.1 HBase 基礎知識 123
6.1.1 HBase產生背景 123
6.1.2 HBase數據模型 124
6.1.3 HBase體系結構 125
6.1.4 HBase與HDFS 127
6.1.5 HBase套用場景 127
6.2 HBase開發環境配置 128
6.2.1 HBase配置前的準備工作 128
6.2.2 HBase配置基礎知識 128
6.2.3 HBase集群環境配置 130
6.3 HBase Shell 134
6.4 HBase API 139
6.4.1 管理表結構 139
6.4.2 管理表信息 142
6.4.3 信息查詢 143
6.5 HBase表設計 145
6.6 本章小結 145
6.7 習題 145
第7章 大數據倉庫套用技術 147
7.1 Hive基礎知識 148
7.1.1 Hive產生背景 148
7.1.2 Hive體系結構 148
7.1.3 Hive執行流程 150
7.1.4 Hive套用場景 151
7.2 Hive開發環境配置 151
7.2.1 Hive配置基礎知識 151
7.2.2 Hive安裝模式 151
7.2.3 Hive遠程安裝模式實戰 153
7.3 Hive命令 155
7.3.1 Hive互動命令界面Shell簡介 155
7.3.2 Hive非互動界面執行簡介 156
7.4 Hive開發基礎知識 157
7.4.1 數據類型與文本檔案編碼 158
7.4.2 數據讀取模式 162
7.4.3 Hive關鍵字 162
7.5 Hive基本操作 163
7.5.1 Hive資料庫管理操作 163
7.5.2 Hive表管理操作 164
7.5.3 Hive查詢基本語法規則 165
7.5.4 Hive基本查詢 165
7.5.5 Hive高級查詢 167
7.5.6 Hive JOIN查詢 173
7.6 Hive API 175
7.7 本章小結 176
7.8 習題 176
第8章 大數據實時套用技術 177
8.1 Storm基礎知識 177
8.1.1 Storm基本概述 178
8.1.2 Storm特徵 178
8.1.3 Storm系統結構 179
8.1.4 Storm運行原理 180
8.1.5 Storm套用場景 180
8.2 Storm開發環境安裝 181
8.2.1 Storm配置基礎知識 181
8.2.2 Storm快速部署 181
8.2.3 Storm集群部署 183
8.3 Storm 編程 185
8.4 Storm實現約車大數據分析 190
8.4.1 模擬生成實時約車數據 191
8.4.2 Flume整合Kafka 192
8.4.3 約車數據採集後基於Storm進行實時處理 195
8.5 本章小結 200
8.6 習題 200
作者簡介
王國?B，副教授，從事高校計算機教育近20年，主要研究方向為大數據、機器學習，近期主持省級課題1項，廳級課題1項，參與省級課題1項，公開發表論文5篇。
