《大數據實踐》是2018年6月清華大學出版社出版的圖書，作者是劉鵬、張燕、袁曉東、黃必棟。
基本介紹
- 書名：大數據實踐
- 作者：劉鵬、張燕、袁曉東、黃必棟
- 出版社：清華大學出版社
- 出版時間：2018年6月
- 定價：58 元
- ISBN：9787302494256
內容簡介,圖書目錄,
內容簡介
本書內容涵蓋了目前使用最為廣泛的大數據處理系統Hadoop生態圈中的幾大核心軟體系統：分散式大數據處理系統Hadoop、資料庫HBase、數據倉庫工具Hive、記憶體大數據計算框架Spark和Spark SQL，詳細介紹了它們的架構、工作原理、部署方法、常用配置、常用操作命令、SQL引擎等內容。本書對上述幾大系統的各種安裝部署方式給出了詳細步驟，常用命令也都有具體示例介紹，是一本實操性很強的工具書，能幫助初學者快速掌握這幾款常用的大數據處理系統。
本書以淺顯易懂的語言風格和圖文並茂的操作示例引領讀者邁入大數據實踐之門，可以作為培養套用型人才的課程教材，也可作為開發人員的自學教材和參考手冊。
圖書目錄
第1章 大數據概述
1.1 從資料庫到大資料庫 1
1.1.1 關係型資料庫 1
1.1.2 大資料庫 2
1.2 大資料庫的類型 4
1.3 大資料庫的套用 5
習題1 8
參考文獻 8
第2章 Hadoop基礎
2.1 Hadoop簡介 9
2.2 Hadoop部署 14
2.2.1 單節點部署 14
2.2.2 偽分散式部署 18
2.2.3 集群部署 25
2.3 Hadoop常用命令 33
2.3.1 用戶命令 33
2.3.2 管理命令 35
2.3.3 啟動/關閉命令 36
2.4 HDFS常用命令 38
2.4.1 用戶命令 38
2.4.2 管理命令 39
實驗1 Hadoop實驗 41
習題2 42
參考文獻 42
第3章 Hadoop資料庫HBase
3.1 HBase簡介 43
3.1.1 體系架構 43
3.1.2 數據模型 46
3.1.3 主要特性 51
3.2 HBase部署 51
3.2.1 準備工作 51
3.2.2 單節點部署 53
3.2.3 偽分散式部署 55
3.2.4 集群部署 57
3.2.5 版本升級 61
3.3 HBase配置 63
3.3.1 配置檔案 63
3.3.2 主要配置項 65
3.3.3 配置建議 69
3.3.4 客戶端配置 72
3.4 HBase Shell 72
3.4.1 互動模式 73
3.4.2 非互動模式 82
3.5 HBase模式設計 84
3.5.1 設計準則 84
3.5.2 列族屬性 88
3.5.3 表屬性 91
3.5.4 設計實例 94
3.6 HBase安全 97
3.6.1 安全訪問配置 97
3.6.2 數據訪問許可權控制 99
實驗2 HBase集群搭建 100
習題3 101
參考文獻 102
第4章 數據倉庫工具Hive
4.1 Hive簡介 103
4.1.1 工作原理 104
4.1.2 體系架構 104
4.1.3 數據模型 106
4.2 Hive部署 108
4.2.1 Hive部署模式 109
4.2.2 Hive內嵌模式部署 110
4.2.3 Hive本地和遠程模式部署 113
4.3 Hive配置 115
4.4 Hive接口 117
4.4.1 Hive Shell接口 117
4.4.2 Hive Web接口 119
4.5 Hive SQL 122
4.5.1 數據類型 122
4.5.2 DDL語句 122
4.5.3 DML語句 137
4.6 Hive操作實例 146
實驗3 Hive實驗 147
習題4 150
參考文獻 150
第5章 記憶體大數據計算框架Spark
5.1 Spark簡介 151
5.1.1 Spark概覽 151
5.1.2 Spark生態系統BDAS 152
5.1.3 Spark架構與原理 153
5.2 Spark部署 155
5.2.1 準備工作 155
5.2.2 Spark單節點部署 156
5.2.3 Spark集群部署 157
5.3 Spark配置 169
5.3.1 Spark屬性 169
5.3.2 環境變數配置 171
5.3.3 日誌配置 171
5.3.4 查看配置 172
5.4 Spark RDD 173
5.4.1 RDD特徵 174
5.4.2 RDD轉換操作 174
5.4.3 RDD依賴 175
5.4.4 RDD行動操作 177
5.5 Spark Shell 177
5.5.1 準備工作 177
5.5.2 啟動Spark Shell 178
5.5.3 創建RDD 179
5.5.4 轉換RDD 180
5.5.5 執行RDD作業 181
實驗4 Spark Standalone集群搭建 184
習題5 185
參考文獻 185
第6章 Spark SQL
6.1 Spark SQL簡介 186
6.1.1 Spark SQL概覽 186
6.1.2 Spark SQL特性 188
6.1.3 Spark SQL架構與原理 188
6.1.4 和Hive的兼容性 190
6.1.5 數據類型 191
6.2 分散式SQL引擎 192
6.2.1 Spark SQL配置 192
6.2.2 Spark SQL CLI 195
6.2.3 Thrift JDBC/ODBC Server的搭建與測試 198
6.3 使用DataFrame API處理結構化數據 201
實驗5 Thrift JDBC/ODBC Server的搭建與測試 205
習題6 206
參考文獻 206
附錄A 大數據和人工智慧實驗環境
附錄B Hadoop環境要求
附錄C 名詞解釋
