《Hadoop套用開發基礎》是2019年8月人民郵電出版社出版的圖書，作者是劉雯、王文兵。
基本介紹
- 中文名：Hadoop套用開發基礎
- 作者：劉雯、王文兵
- 出版社：人民郵電出版社
- 出版時間：2019年8月
- 頁數：233 頁
- 定價：46.8 元
- 開本：16 開
- 裝幀：平裝
- ISBN：9787115498137
內容簡介,圖書目錄,
內容簡介
Hadoop是一個分散式系統的基礎架構，支持對大量數據進行分散式處理，能以高效、可靠的方式完成數據處理。本書圍繞Hadoop生態圈技術進行講解，主要包括Hadoop環境配置、Hadoop分散式檔案系統（HDFS）、Hadoop分散式計算框架MapReduce、Hadoop資源調度框架YARN與Hadoop新特性、Hadoop分散式資料庫HBase、Oozie工作流調度系統等內容。
本書以Linux作業系統為平台，緊密結合實際套用，貫穿了大量實踐案例。另外，本書配以多元的學習資源和平台服務，包括參考教案、案例素材下載、學習交流社區等，為讀者提供全方位的學習體驗。通過系統地學習本書內容和操作實踐，讀者可以掌握大數據相關技能。
本書適合作為高等學校計算機專業大數據等相關課程的教材使用，也適合具有一定Linux、Java開發經驗且想從事大數據開發工作的人員自學使用，還適合作為大數據分析與運維人員的參考用書。
圖書目錄
第 1章 Hadoop入門 1
任務1 了解大數據現狀 2
1.1.1 大數據基本概念和特徵 2
1.1.2 大數據帶來的機遇和挑戰 3
任務2 了解Hadoop基礎 4
1.2.1 Hadoop概述 4
1.2.2 Hadoop生態圈 7
1.2.3 Hadoop套用案例 9
任務3 搭建移動通信業務的Hadoop處理平台 11
1.3.1 安裝虛擬機 11
1.3.2 安裝Linux作業系統 13
1.3.3 搭建移動通信業務的Hadoop處理平台 25
1.3.4 大數據集群管理平台 28
1.3.5 技能實訓 29
本章總結 29
本章作業 29
第 2章 Hadoop分散式檔案系統HDFS 31
任務1 了解HDFS 32
2.1.1 認識HDFS 32
2.1.2 HDFS架構 34
任務2 使用HDFS處理移動通信數據檔案 35
2.2.1 使用HDFS shell操作完成移動通信數據的管理 35
2.2.2 使用Java API操作完成移動通信數據的管理 38
2.2.3 技能實訓 43
任務3 了解HDFS運行原理 43
2.3.1 HDFS讀寫流程 43
2.3.2 HDFS副本機制 45
2.3.3 HDFS負載均衡 46
2.3.4 HDFS機架感知 46
任務4 實現移動通信數據的行檔案方式存儲 47
2.4.1 Hadoop序列化機制 47
2.4.2 檔案格式 51
2.4.3 技能實訓 56
本章總結 56
本章作業 56
第3章 Hadoop分散式計算框架MapReduce 57
任務1 使用MapReduce完成詞頻統計功能 58
3.1.1 MapReduce基礎 58
3.1.2 MapReduce編程模型 59
3.1.3 MapReduce詞頻統計編程實例 60
3.1.4 技能實訓 64
任務2 按號段統計手機號碼 65
3.2.1 MapReduce輸入/輸出格式 65
3.2.2 Combiner類 67
3.2.3 Partitioner類 69
3.2.4 Shuffle階段 72
3.2.5 自定義RecordReader 73
3.2.6 技能實訓 77
任務3 使用MapReduce編寫套用案例 77
3.3.1 使用MapReduce實現join操作 78
3.3.2 使用MapReduce實現排序功能 84
3.3.3 使用MapReduce實現二次排序功能 86
3.3.4 技能實訓 91
本章總結 91
本章作業 91
第4章 Hadoop YARN 93
任務1 在YARN集群上運行MapReduce作業 94
4.1.1 YARN的產生背景 94
4.1.2 YARN簡介 95
4.1.3 YARN架構設計 101
4.1.4 技能實訓 103
任務2 配置YARN容錯 104
4.2.1 ResourceManager自動重啟 104
4.2.2 ResourceManager高可用 105
本章總結 108
本章作業 108
第5章 ZooKeeper簡介及安裝 109
任務1 了解ZooKeeper 110
5.1.1 ZooKeeper概念 110
5.1.2 ZooKeeper的作用及優勢 111
5.1.3 ZooKeeper架構 111
5.1.4 ZooKeeper的套用案例 113
任務2 搭建ZooKeeper單機環境 114
5.2.1 ZooKeeper下載安裝 114
5.2.2 ZooKeeper配置 114
5.2.3 啟動ZooKeeper 115
5.2.4 技能實訓 115
任務3 實現分散式系統伺服器上下線的動態感知 116
5.3.1 ZooKeeper Client命令行操作 116
5.3.2 Java API操作ZooKeeper 119
5.3.3 技能實訓 129
本章總結 130
本章作業 130
第6章 HBase基礎 131
任務1 了解HBase 132
6.1.1 HBase是什麼 132
6.1.2 HBase發展歷史 133
6.1.3 HBase使用案例 133
任務2 理解HBase體系架構 134
6.2.1 架構簡介 134
6.2.2 HMaster 135
6.2.3 HRegion 135
6.2.4 HRegionServer 136
6.2.5 ZooKeeper 136
任務3 理解HBase數據模型 136
6.3.1 數據模型 137
6.3.2 概念視圖 137
6.3.3 物理視圖 139
任務4 搭建HBase環境 140
6.4.1 HBase安裝包下載 140
6.4.2 HBase解壓安裝 141
6.4.3 HBase偽分散式環境搭建 141
6.4.4 技能實訓 145
本章總結 145
本章作業 146
第7章 HBase操作 147
任務1 使用HBase Shell完成《王者榮耀》遊戲玩家信息管理操作 148
7.1.1 DDL操作 148
7.1.2 DML操作 154
7.1.3 技能實訓 159
任務2 使用HBase Java API完成《王者榮耀》遊戲玩家信息管理操作 159
7.2.1 開發環境搭建 159
7.2.2 核心API 163
7.2.3 技能實訓 170
任務3 使用HBase Rest API訪問《王者榮耀》遊戲玩家信息表 170
7.3.1 啟動/停止Rest服務命令 170
7.3.2 訪問方式 171
7.3.3 技能實訓 172
本章總結 172
本章作業 172
第8章 HBase套用 173
任務1 使用表空間管理《王者榮耀》遊戲玩家信息表 174
8.1.1 HBase名字空間簡介 174
8.1.2 名字空間操作 174
8.1.3 技能訓練 182
任務2 對《王者榮耀》遊戲玩家信息表進行許可權管理 182
8.2.1 授予許可權GRANT 182
8.2.2 查看許可權USER_PERMISSION 184
8.2.3 收回許可權REVOKE 184
8.2.4 技能實訓 185
任務3 理解HRegion切分 185
8.3.1 HRegion切分概念 185
8.3.2 切分策略 185
任務4 了解HBase中的Compaction過程 186
8.4.1 Compaction概念 187
8.4.2 Compaction實現方式 187
8.4.3 Compaction參數 187
本章總結 188
本章作業 188
第9章 工作流調度框架Oozie 189
任務1 理解Apache Oozie架構 190
9.1.1 Oozie簡介 190
9.1.2 Oozie架構 190
任務2 搭建Oozie環境 194
9.2.1 Oozie下載安裝 194
9.2.2 Oozie配置 195
9.2.3 Oozie啟動 198
9.2.4 技能實訓 198
任務3 實現遊戲玩家搜尋功能 198
9.3.1 Shell Action 199
9.3.2 Java Action 201
9.3.3 MapReduce Action 203
9.3.4 實現遊戲玩家搜尋功能 205
9.3.5 技能實訓 210
本章總結 210
本章作業 210
第 10章 項目實訓——《王者榮耀》遊戲英雄排行榜 211
10.1 項目需求 212
10.2 項目環境準備 213
10.3 項目覆蓋的技能點 213
10.4 難點分析 214
10.5 項目實現思路 219
本章總結 233
本章作業 233
