《Hadoop雲計算實戰》是2012年清華大學出版社出版的圖書，作者是周品。本書全面介紹了雲計算的基本概念、Google（谷歌）雲計算的關鍵技術，以及Hadoop雲計算的相關配套項目及其實戰。
基本介紹
- 作者：周 品
- ISBN：9787302296737
- 頁數：411
- 定價：46.00元
- 出版社：清華大學出版社
- 出版時間：2012-10
- 裝幀：平裝
內容介紹,作品目錄,
內容介紹
《Hadoop雲計算實戰》內容包括Hadoop的HDFS、MapReduce、HBase、Hive、Pig、Cassandra、Chukwa及ZooKeeper等配套項目的實現機制、用法及套用。
作品目錄
第1章 雲計算概論 1
1.1 雲計算概述 1
1.1.1 雲計算的定義 1
1.1.2 雲計算產生的背景 2
1.1.3 雲時代誰是主角 3
1.1.4 雲計算的特徵 4
1.1.5 雲計算的發展史 5
1.1.6 雲計算的服務層次 7
1.1.7 雲計算的服務形式 7
1.1.8 雲計算的實現機制 9
1.1.9 雲計算研究方向 11
1.1.10 雲計算發展趨勢 12
1.2 雲計算關鍵技術研究 14
1.2.1 虛擬化技術 14
1.2.2 數據存儲技術 15
1.2.3 資源管理技術 17
1.2.4 能耗管理技術 18
1.2.5 雲監測技術 19
1.3 雲計算套用研究 22
1.3.1 語義分析套用 22
1.3.2 IT企業套用 22
1.3.3 生物學套用 23
1.3.4 電信企業套用 24
1.3.5 資料庫的套用 27
1.3.6 地理信息套用 28
1.3.7 醫學套用 29
1.4 雲安全 30
1.4.1 雲安全發展趨勢 31
1.4.2 雲安全與網路安全的差別 31
1.4.3 雲安全研究的方向 31
1.4.4 雲安全難點問題 32
1.4.5 雲安全新增及增強功能 32
1.5 雲計算生命周期 33
1.6 雲計算存在的問題 34
1.7 雲計算的優缺點 35
第2章 Hadoop相關項目介紹 37
2.1 Hadoop簡介 37
2.1.1 Hadoop的基本架構 37
2.1.2 Hadoop檔案系統結構 40
2.1.3 Hadoop檔案讀操作 41
2.1.4 Hadoop檔案寫操作 42
2.2 Hadoop系統性質 42
2.2.1 可靠存儲性 43
2.2.2 數據均衡 43
2.3 比較SQL資料庫與Hadoop 44
2.4 MapReduce概述 45
2.4.1 MapReduce實現機制 45
2.4.2 MapReduce執行流程 46
2.4.3 MapReduce映射和化簡 47
2.4.4 MapReduce輸入格式 47
2.4.5 MapReduce輸出格式 48
2.4.6 MapReduce運行速度 48
2.5 HBase概述 48
2.5.1 HBase的系統框架 49
2.5.2 HBase訪問接口 51
2.5.3 HBase的存儲格式 52
2.5.4 HBase的讀寫流程 52
2.5.5 Hbase的優缺點 53
2.6 ZooKeeper概述 53
2.6.1 為什麼需要ZooKeeper 54
2.6.2 ZooKeeper設計目標 54
2.6.3 ZooKeeper數據模型 54
2.6.4 ZooKeeper工作原理 55
2.6.5 ZooKeeper實現機制 56
2.6.6 ZooKeeper的特性 57
2.7 Hive概述 58
2.7.1 Hive的組成 59
2.7.2 Hive結構解析 59
2.8 Pig概述 63
2.9 Cassandra概述 64
2.9.1 Cassandra主要功能 64
2.9.2 Cassandra的體系結構 65
2.9.3 Cassandra存儲機制 65
2.9.4 Cassandra的寫過程 66
2.9.5 Cassandra的讀過程 67
2.9.6 Cassandra的刪除 68
2.10 Chukwa概述 68
2.10.1 使用Chukwa的原因 68
2.10.2 Chukwa的不是 69
2.10.3 Chukwa的定義 69
2.10.4 Chukwa架構與設計 70
第3章 Hadoop配置與實戰 74
3.1 Hadoop的安裝 74
3.1.1 在Linux下安裝Hadoop 74
3.1.2 運行模式 75
3.1.3 在Windows下安裝Hadoop 80
3.2 運行Hadoop 86
3.3 Hadoop的Avatar機制 87
3.3.1 系統架構 88
3.3.2 元數據同步機制 89
3.3.3 切換故障過程 91
3.3.4 運行流程 92
3.3.5 切換故障流程 96
3.4 Hadoop實戰 99
3.4.1 使用Hadoop運行wordcount實例 99
3.4.2 使用Eclipse編寫Hadoop程式 101
第4章 Hadoop的分散式數據HDFS 102
4.1 HDFS的操作 102
4.1.1 檔案操作 102
4.1.2 管理與更新 103
4.2 FS Shell使用指南 104
4.3 API使用 111
4.3.1 檔案系統的常見操作 111
4.3.2 API的Java操作實例 113
第5章 Hadoop編程模型MapReduce 118
5.1 MapReduce基礎 118
5.1.1 MapReduce編程模型 118
5.1.2 MapReduce實現機制 119
5.1.3 Java MapReduce 121
5.2 MapReduce的容錯性 124
5.3 MapReduce實例分析 125
5.4 不帶map()、reduce()的MapReduce 131
5.5 Shuffle過程 133
5.6 新增Hadoop API 136
5.7 Hadoop的Streaming 138
5.7.1 通過UNIX命令使用Streaming 138
5.7.2 通過Ruby版本使用Streaming 139
5.7.3 通過Python版本使用Streaming 141
5.8 MapReduce實戰 142
5.8.1 MapReduce排序 142
5.8.2 MapReduce二次排序 145
5.9 MapReduce作業分析 153
5.10 定製MapReduce數據類型 156
5.10.1 內置的數據輸入格式和RecordReader 156
5.10.2 定製輸入數據格式與RecordReader 157
5.10.3 定製數據輸出格式實現多集合檔案輸出 160
5.11 連結MapReduce作業 162
5.11.1 順序連結MapReduce作業 162
5.11.2 複雜的MapReduce連結 163
5.11.3 前後處理的連結 163
5.11.4 連結不同的數據 166
5.12 Hadoop的Pipes 172
5.13 創建Bloom filter 174
5.13.1 Bloom filter作用 175
5.13.2 Bloom filter實現 175
第6章 Hadoop的資料庫HBase 182
6.1 HBase數據模型 182
6.1.1 數據模型 182
6.1.2 概念視圖 183
6.1.3 物理視圖 184
6.2 HBase與RDBMS對比 185
6.3 Bigtable的套用實例 188
6.4 HBase的安裝與配置 189
6.5 Java API 196
6.6 HBase實例分析 204
6.6.1 RowLock 204
6.6.2 HBase的HFileOutputFormat 207
6.6.3 HBase的TableOutputFormat 210
6.6.4 在HBase中使用MapReduce 213
6.6.5 HBase分散式模式 215
第7章 Hadoop的數據倉庫Hive 220
7.1 Hive的安裝 220
7.1.1 準備的軟體包 220
7.1.2 內嵌模式安裝 220
7.1.3 安裝獨立模式 221
7.1.4 遠程模式安裝 222
7.1.5 查看數據信息 222
7.2 Hive的入口 223
7.2.1 類CliDriver 225
7.2.2 類CliSessionState 229
7.2.3 類CommandProcessor 230
7.3 Hive QL詳解 232
7.3.1 Hive的數據類型 232
7.3.2 Hive與資料庫比較 233
7.3.3 DDL操作 234
7.3.4 join查詢 241
7.3.5 DML操作 243
7.3.6 SQL操作 245
7.3.7 Hive QL的套用實例 248
7.4 Hive的服務 250
7.4.1 JDBC/ODBC服務 250
7.4.2 Thrift服務 253
7.4.3 Web接口 255
7.5 Hive SQL的最佳化 256
7.5.1 Hive SQL最佳化選項 256
7.5.2 Hive SQL最佳化套用實例 258
7.6 Hive的擴展性 261
7.6.1 SerDe 262
7.6.2 Map/Reduce腳本 263
7.6.3 UDF 263
7.6.4 UDAF 264
7.7 Hive實戰 266
第8章 Hadoop的大規模數據平台Pig 274
8.1 Pig的安裝與運行 274
8.1.1 Pig的安裝 274
8.1.2 Pig的運行 274
8.2 Pig實現 278
8.3 Pig Latin語言 279
8.3.1 Pig Latin語言概述 280
8.3.2 Pig Latin數據類型 282
8.3.3 Pig Latin運算符 284
8.3.4 Pig Latin關鍵字 287
8.3.5 Pig內置函式 288
8.4 自定義函式 291
8.4.1 UDF的編寫 292
8.4.2 UDFS的使用 293
8.5 Jaql和Pig查詢語言的比較 293
8.5.1 Pig和Jaql運行環境和執行形式的比較 294
8.5.2 Pig和Jaql支持數據類型的比較 294
8.5.3 Pig和Jaql操作符和內建函式以及自定義函式的比較 295
8.5.4 其他 299
8.6 Pig實戰 300
第9章 Hadoop的非關係型數據Cassandra 308
9.1 Cassandra的安裝 308
9.1.1 在Windows 7中安裝 308
9.1.2 在Linux中安裝 310
9.2 Cassandra的數據模型 311
9.2.1 Column 311
9.2.2 SuperColumn 312
9.2.3 ColumnFamily 312
9.2.4 Row 313
9.2.5 排序 313
9.3 Cassandra的實例分析 315
9.3.1 Cassandra的數據存儲結構 315
9.3.2 跟蹤客戶端代碼 319
9.4 Cassandra常用的程式語言 324
9.4.1 Java使用Cassandra 324
9.4.2 PHP使用Cassandra 325
9.4.3 Python使用Cassandra 326
9.4.4 C#使用Cassandra 327
9.4.5 Ruby使用Cassandra 328
9.5 Cassandra與MapReduce結合 328
9.5.1 需求分析 329
9.5.2 代碼分析 330
9.5.3 MapReduce代碼 330
9.6 Cassandra實戰 331
9.6.1 BuyerDao功能驗證 331
9.6.2 SellerDao功能驗證 332
9.6.3 ProductDao功能驗證 333
9.6.4 新建Schema線上功能 336
9.6.5 功能驗證 337
第10章 Hadoop的收集數據Chukwa 339
10.1 Chukwa的安裝與配置 339
10.1.1 配置要求 339
10.1.2 Chukwa的安裝 340
10.1.3 基本命令 341
10.2 Chukwa數據流處理 344
10.2.1 支持數據類型 344
10.2.2 數據處理 345
10.2.3 自定義數據模組 351
10.3 Chukwa原始碼分析 352
10.3.1 Chukwa適配器 352
10.3.2 Chukwa連線器 357
10.3.3 Chukwa收集器 362
10.4 Chukwa實例分析 366
10.4.1 生成數據 366
10.4.2 收集數據 367
10.4.3 處理數據 367
10.4.4 析取數據 368
10.4.5 稀釋數據 368
第11章 Hadoop的分散式系統ZooKeeper 369
11.1 ZooKeeper的安裝與配置 369
11.1.1 ZooKeeper的安裝 369
11.1.2 ZooKeeper的配置 371
11.1.3 ZooKeeper數據模型 373
11.1.4 ZooKeeper的API接口 373
11.1.5 ZooKeeper編程實現 375
11.2 ZooKeeper的Leader流程 378
11.3 ZooKeeper鎖服務 379
11.3.1 ZooKeeper中的鎖機制 379
11.3.2 ZooKeeper的寫鎖實現 380
11.3.3 ZooKeeper鎖服務實現例子 381
11.4 創建ZooKeeper應用程式 383
11.5 ZooKeeper的套用開發 387
11.6 ZooKeeper的典型套用 395
11.6.1 統一命名服務 396
11.6.2 配置管理 396
11.6.3 集群管理 397
11.6.4 共享鎖 398
11.6.5 佇列管理 399
11.7 實現NameNode自動切換 402
網上參考資源 410
參考文獻 412
1.1 雲計算概述 1
1.1.1 雲計算的定義 1
1.1.2 雲計算產生的背景 2
1.1.3 雲時代誰是主角 3
1.1.4 雲計算的特徵 4
1.1.5 雲計算的發展史 5
1.1.6 雲計算的服務層次 7
1.1.7 雲計算的服務形式 7
1.1.8 雲計算的實現機制 9
1.1.9 雲計算研究方向 11
1.1.10 雲計算發展趨勢 12
1.2 雲計算關鍵技術研究 14
1.2.1 虛擬化技術 14
1.2.2 數據存儲技術 15
1.2.3 資源管理技術 17
1.2.4 能耗管理技術 18
1.2.5 雲監測技術 19
1.3 雲計算套用研究 22
1.3.1 語義分析套用 22
1.3.2 IT企業套用 22
1.3.3 生物學套用 23
1.3.4 電信企業套用 24
1.3.5 資料庫的套用 27
1.3.6 地理信息套用 28
1.3.7 醫學套用 29
1.4 雲安全 30
1.4.1 雲安全發展趨勢 31
1.4.2 雲安全與網路安全的差別 31
1.4.3 雲安全研究的方向 31
1.4.4 雲安全難點問題 32
1.4.5 雲安全新增及增強功能 32
1.5 雲計算生命周期 33
1.6 雲計算存在的問題 34
1.7 雲計算的優缺點 35
第2章 Hadoop相關項目介紹 37
2.1 Hadoop簡介 37
2.1.1 Hadoop的基本架構 37
2.1.2 Hadoop檔案系統結構 40
2.1.3 Hadoop檔案讀操作 41
2.1.4 Hadoop檔案寫操作 42
2.2 Hadoop系統性質 42
2.2.1 可靠存儲性 43
2.2.2 數據均衡 43
2.3 比較SQL資料庫與Hadoop 44
2.4 MapReduce概述 45
2.4.1 MapReduce實現機制 45
2.4.2 MapReduce執行流程 46
2.4.3 MapReduce映射和化簡 47
2.4.4 MapReduce輸入格式 47
2.4.5 MapReduce輸出格式 48
2.4.6 MapReduce運行速度 48
2.5 HBase概述 48
2.5.1 HBase的系統框架 49
2.5.2 HBase訪問接口 51
2.5.3 HBase的存儲格式 52
2.5.4 HBase的讀寫流程 52
2.5.5 Hbase的優缺點 53
2.6 ZooKeeper概述 53
2.6.1 為什麼需要ZooKeeper 54
2.6.2 ZooKeeper設計目標 54
2.6.3 ZooKeeper數據模型 54
2.6.4 ZooKeeper工作原理 55
2.6.5 ZooKeeper實現機制 56
2.6.6 ZooKeeper的特性 57
2.7 Hive概述 58
2.7.1 Hive的組成 59
2.7.2 Hive結構解析 59
2.8 Pig概述 63
2.9 Cassandra概述 64
2.9.1 Cassandra主要功能 64
2.9.2 Cassandra的體系結構 65
2.9.3 Cassandra存儲機制 65
2.9.4 Cassandra的寫過程 66
2.9.5 Cassandra的讀過程 67
2.9.6 Cassandra的刪除 68
2.10 Chukwa概述 68
2.10.1 使用Chukwa的原因 68
2.10.2 Chukwa的不是 69
2.10.3 Chukwa的定義 69
2.10.4 Chukwa架構與設計 70
第3章 Hadoop配置與實戰 74
3.1 Hadoop的安裝 74
3.1.1 在Linux下安裝Hadoop 74
3.1.2 運行模式 75
3.1.3 在Windows下安裝Hadoop 80
3.2 運行Hadoop 86
3.3 Hadoop的Avatar機制 87
3.3.1 系統架構 88
3.3.2 元數據同步機制 89
3.3.3 切換故障過程 91
3.3.4 運行流程 92
3.3.5 切換故障流程 96
3.4 Hadoop實戰 99
3.4.1 使用Hadoop運行wordcount實例 99
3.4.2 使用Eclipse編寫Hadoop程式 101
第4章 Hadoop的分散式數據HDFS 102
4.1 HDFS的操作 102
4.1.1 檔案操作 102
4.1.2 管理與更新 103
4.2 FS Shell使用指南 104
4.3 API使用 111
4.3.1 檔案系統的常見操作 111
4.3.2 API的Java操作實例 113
第5章 Hadoop編程模型MapReduce 118
5.1 MapReduce基礎 118
5.1.1 MapReduce編程模型 118
5.1.2 MapReduce實現機制 119
5.1.3 Java MapReduce 121
5.2 MapReduce的容錯性 124
5.3 MapReduce實例分析 125
5.4 不帶map()、reduce()的MapReduce 131
5.5 Shuffle過程 133
5.6 新增Hadoop API 136
5.7 Hadoop的Streaming 138
5.7.1 通過UNIX命令使用Streaming 138
5.7.2 通過Ruby版本使用Streaming 139
5.7.3 通過Python版本使用Streaming 141
5.8 MapReduce實戰 142
5.8.1 MapReduce排序 142
5.8.2 MapReduce二次排序 145
5.9 MapReduce作業分析 153
5.10 定製MapReduce數據類型 156
5.10.1 內置的數據輸入格式和RecordReader 156
5.10.2 定製輸入數據格式與RecordReader 157
5.10.3 定製數據輸出格式實現多集合檔案輸出 160
5.11 連結MapReduce作業 162
5.11.1 順序連結MapReduce作業 162
5.11.2 複雜的MapReduce連結 163
5.11.3 前後處理的連結 163
5.11.4 連結不同的數據 166
5.12 Hadoop的Pipes 172
5.13 創建Bloom filter 174
5.13.1 Bloom filter作用 175
5.13.2 Bloom filter實現 175
第6章 Hadoop的資料庫HBase 182
6.1 HBase數據模型 182
6.1.1 數據模型 182
6.1.2 概念視圖 183
6.1.3 物理視圖 184
6.2 HBase與RDBMS對比 185
6.3 Bigtable的套用實例 188
6.4 HBase的安裝與配置 189
6.5 Java API 196
6.6 HBase實例分析 204
6.6.1 RowLock 204
6.6.2 HBase的HFileOutputFormat 207
6.6.3 HBase的TableOutputFormat 210
6.6.4 在HBase中使用MapReduce 213
6.6.5 HBase分散式模式 215
第7章 Hadoop的數據倉庫Hive 220
7.1 Hive的安裝 220
7.1.1 準備的軟體包 220
7.1.2 內嵌模式安裝 220
7.1.3 安裝獨立模式 221
7.1.4 遠程模式安裝 222
7.1.5 查看數據信息 222
7.2 Hive的入口 223
7.2.1 類CliDriver 225
7.2.2 類CliSessionState 229
7.2.3 類CommandProcessor 230
7.3 Hive QL詳解 232
7.3.1 Hive的數據類型 232
7.3.2 Hive與資料庫比較 233
7.3.3 DDL操作 234
7.3.4 join查詢 241
7.3.5 DML操作 243
7.3.6 SQL操作 245
7.3.7 Hive QL的套用實例 248
7.4 Hive的服務 250
7.4.1 JDBC/ODBC服務 250
7.4.2 Thrift服務 253
7.4.3 Web接口 255
7.5 Hive SQL的最佳化 256
7.5.1 Hive SQL最佳化選項 256
7.5.2 Hive SQL最佳化套用實例 258
7.6 Hive的擴展性 261
7.6.1 SerDe 262
7.6.2 Map/Reduce腳本 263
7.6.3 UDF 263
7.6.4 UDAF 264
7.7 Hive實戰 266
第8章 Hadoop的大規模數據平台Pig 274
8.1 Pig的安裝與運行 274
8.1.1 Pig的安裝 274
8.1.2 Pig的運行 274
8.2 Pig實現 278
8.3 Pig Latin語言 279
8.3.1 Pig Latin語言概述 280
8.3.2 Pig Latin數據類型 282
8.3.3 Pig Latin運算符 284
8.3.4 Pig Latin關鍵字 287
8.3.5 Pig內置函式 288
8.4 自定義函式 291
8.4.1 UDF的編寫 292
8.4.2 UDFS的使用 293
8.5 Jaql和Pig查詢語言的比較 293
8.5.1 Pig和Jaql運行環境和執行形式的比較 294
8.5.2 Pig和Jaql支持數據類型的比較 294
8.5.3 Pig和Jaql操作符和內建函式以及自定義函式的比較 295
8.5.4 其他 299
8.6 Pig實戰 300
第9章 Hadoop的非關係型數據Cassandra 308
9.1 Cassandra的安裝 308
9.1.1 在Windows 7中安裝 308
9.1.2 在Linux中安裝 310
9.2 Cassandra的數據模型 311
9.2.1 Column 311
9.2.2 SuperColumn 312
9.2.3 ColumnFamily 312
9.2.4 Row 313
9.2.5 排序 313
9.3 Cassandra的實例分析 315
9.3.1 Cassandra的數據存儲結構 315
9.3.2 跟蹤客戶端代碼 319
9.4 Cassandra常用的程式語言 324
9.4.1 Java使用Cassandra 324
9.4.2 PHP使用Cassandra 325
9.4.3 Python使用Cassandra 326
9.4.4 C#使用Cassandra 327
9.4.5 Ruby使用Cassandra 328
9.5 Cassandra與MapReduce結合 328
9.5.1 需求分析 329
9.5.2 代碼分析 330
9.5.3 MapReduce代碼 330
9.6 Cassandra實戰 331
9.6.1 BuyerDao功能驗證 331
9.6.2 SellerDao功能驗證 332
9.6.3 ProductDao功能驗證 333
9.6.4 新建Schema線上功能 336
9.6.5 功能驗證 337
第10章 Hadoop的收集數據Chukwa 339
10.1 Chukwa的安裝與配置 339
10.1.1 配置要求 339
10.1.2 Chukwa的安裝 340
10.1.3 基本命令 341
10.2 Chukwa數據流處理 344
10.2.1 支持數據類型 344
10.2.2 數據處理 345
10.2.3 自定義數據模組 351
10.3 Chukwa原始碼分析 352
10.3.1 Chukwa適配器 352
10.3.2 Chukwa連線器 357
10.3.3 Chukwa收集器 362
10.4 Chukwa實例分析 366
10.4.1 生成數據 366
10.4.2 收集數據 367
10.4.3 處理數據 367
10.4.4 析取數據 368
10.4.5 稀釋數據 368
第11章 Hadoop的分散式系統ZooKeeper 369
11.1 ZooKeeper的安裝與配置 369
11.1.1 ZooKeeper的安裝 369
11.1.2 ZooKeeper的配置 371
11.1.3 ZooKeeper數據模型 373
11.1.4 ZooKeeper的API接口 373
11.1.5 ZooKeeper編程實現 375
11.2 ZooKeeper的Leader流程 378
11.3 ZooKeeper鎖服務 379
11.3.1 ZooKeeper中的鎖機制 379
11.3.2 ZooKeeper的寫鎖實現 380
11.3.3 ZooKeeper鎖服務實現例子 381
11.4 創建ZooKeeper應用程式 383
11.5 ZooKeeper的套用開發 387
11.6 ZooKeeper的典型套用 395
11.6.1 統一命名服務 396
11.6.2 配置管理 396
11.6.3 集群管理 397
11.6.4 共享鎖 398
11.6.5 佇列管理 399
11.7 實現NameNode自動切換 402
網上參考資源 410
參考文獻 412
