《大數據基礎編程、實驗和案例教程（第2版）》是2020年清華大學出版社出版的圖書，作者林子雨。
基本介紹
- 中文名：大數據基礎編程、實驗和案例教程（第2版）
- 作者：林子雨
- 出版社：清華大學出版社
- 出版時間：2020年
- 定價：69 元
- ISBN：9787302559771
內容簡介,目錄,
內容簡介
本實踐教程主要介紹大數據軟體環境的搭建、大數據基礎編程和大數據實驗案例，可以幫助大數據學習者有效構建大數據實驗環境，快速開展入門級編程。內容包括Linux系統的安裝、Hadoop的安裝、HDFS基礎編程、HBase安裝和基礎編程、MapReduce基礎編程、Hive安裝和基礎編程、MongoDB安裝和基礎編程、Redis安裝和基礎編程、數據倉庫Hive安裝和基礎編程、可視化工具安裝和使用、Spark安裝和基礎編程、大數據實驗綜合案例
目錄
第1章大數據技術概述/1
1.1大數據時代/1
1.2大數據關鍵技術/2
1.3大數據軟體/3
1.3.1Hadoop/4
1.3.2Spark/5
1.3.3NoSQL資料庫/5
1.4內容安排/6
1.5線上資源/8
1.6本章小結/10
第2章Linux系統的安裝和使用/11
2.1Linux系統簡介/11
2.2Linux系統安裝/11
2.2.1下載安裝檔案/12
2.2.2Linux系統的安裝方式/12
2.2.3安裝Linux虛擬機/13
2.2.4生成Linux虛擬機鏡像檔案/35
2.3Linux系統及相關軟體的基本使用方法/36
2.3.1Shell/36
2.3.2root用戶/37
2.3.3創建普通用戶/37
2.3.4sudo命令/38
2.3.5常用的Linux系統命令/38
2.3.6檔案解壓縮/39
2.3.7常用的目錄/39
2.3.8目錄的許可權/40
2.3.9更新APT/40
2.3.10切換中英文輸入法/42
2.3.11vim編輯器的使用方法/42
2.3.12在Windows系統中使用SSH方式登錄Linux系統/43
2.3.13在Linux系統中安裝Eclipse/46
2.3.14其他使用技巧/47
2.4關於本書內容的一些約定/47
2.5本章小結/48
第3章Hadoop的安裝和使用/49
3.1Hadoop簡介/49
3.2安裝Hadoop前的準備工作/49
3.2.1創建hadoop用戶/50
3.2.2更新APT/50
3.2.3安裝SSH...
3.2.4安裝Java環境/51
3.3安裝Hadoop/52
3.3.1下載安裝檔案/53
3.3.2單機模式配置/53
3.3.3偽分散式模式配置/54
3.3.4分散式模式配置/61
3.4本章小結/70
第4章HDFS操作方法和基礎編程/71
4.1HDFS操作常用的Shell命令/71
4.1.1查看命令的用法/71
4.1.2HDFS操作/73
4.2利用HDFS的Web管理界面/75
4.3HDFS編程實踐/75
4.3.1在Eclipse中創建項目/75
4.3.2為項目添加需要用到的JAR包/76
4.3.3編寫Java應用程式/79
4.3.4編譯運行程式/82
4.3.5應用程式的部署/83
4.4本章小結/86
第5章HBase的安裝和基礎編程/88
5.1安裝HBase/88
5.1.1下載安裝檔案/88
5.1.2配置環境變數/89
5.1.3添加用戶許可權/89
5.1.4查看HBase版本信息/89
5.2HBase的配置/90
5.2.1單機模式配置/90
5.2.2偽分散式模式配置/92
5.3HBase常用的Shell命令/94
5.3.1在HBase中創建表/94
5.3.2添加數據/94
5.3.3查看數據/95
5.3.4刪除數據/96
5.3.5刪除表/97
5.3.6查詢歷史數據/97
5.3.7退出HBase資料庫/97
5.4HBase編程實踐/98
5.4.1在Eclipse中創建項目/98
5.4.2為項目添加需要用到的JAR包/100
5.4.3編寫Java應用程式/102
5.4.4編譯運行程式/105
5.5本章小結/106
第6章典型NoSQL資料庫的安裝和使用/108
6.1Redis的安裝和使用/108
6.1.1Redis簡介/108
6.1.2安裝Redis/108
6.1.3Redis實例演示/110
6.2MongoDB的安裝和使用/111
6.2.1MongDB簡介/111
6.2.2安裝MongoDB/112
6.2.3使用Shell命令操作MongoDB/113
6.2.4Java API編程實例/118
6.3本章小結/122
第7章MapReduce基礎編程/123
7.1詞頻統計任務要求/123
7.2MapReduce程式編寫方法/124
7.2.1編寫Map處理邏輯/124
7.2.2編寫Reduce處理邏輯/124
7.2.3編寫main方法/125
7.2.4完整的詞頻統計程式/126
7.3編譯打包程式/127
7.3.1使用命令行編譯打包詞頻統計程式/128
7.3.2使用Eclipse編譯打包詞頻統計程式/128
7.4運行程式/136
7.5本章小結/139
第8章數據倉庫Hive的安裝和使用/140
8.1Hive的安裝/140
8.1.1下載安裝檔案/140
8.1.2配置環境變數/141
8.1.3修改配置檔案/141
8.1.4安裝並配置MySQL/142
8.2Hive的數據類型/144
8.3Hive基本操作/145
8.3.1創建資料庫、表、視圖/145
8.3.2刪除資料庫、表、視圖/146
8.3.3修改資料庫、表、視圖/147
8.3.4查看資料庫、表、視圖/148
8.3.5描述資料庫、表、視圖/148
8.3.6向表中裝載數據/149
8.3.7查詢表中數據/149
8.3.8向表中插入數據或從表中導出數據/149
8.4Hive套用實例: WordCount/150
8.5Hive編程的優勢/151
8.6本章小結/151
第9章Spark的安裝和基礎編程/152
9.1基礎環境/152
9.2安裝Spark/152
9.2.1下載安裝檔案/152
9.2.2配置相關檔案/153
9.3使用 Spark Shell編寫代碼/154
9.3.1啟動Spark Shell/154
9.3.2讀取檔案/155
9.3.3編寫詞頻統計程式/156
9.4編寫Spark獨立應用程式/157
9.4.1用Scala語言編寫Spark獨立應用程式/157
9.4.2用Java語言編寫Spark獨立應用程式/161
9.5本章小結/164
第10章Flink的安裝和基礎編程/165
10.1安裝Flink/165
10.2編程實現WordCount程式/167
10.2.1安裝Maven/167
10.2.2編寫代碼/167
10.2.3使用Maven打包Java程式/171
10.2.4通過flink run命令運行程式/172
10.3本章小結/172
第11章典型可視化工具的使用方法/173
11.1D3可視化庫的使用方法/173
11.1.1D3可視化庫的安裝/173
11.1.2基本操作/174
11.2使用ECharts製作圖表/182
11.2.1ECharts簡介/182
11.2.2ECharts圖表製作方法/182
11.3本章小結/185
第12章數據採集工具的安裝和使用/186
12.1Kafka/186
12.1.1Kafka相關概念/186
12.1.2安裝Kafka/186
12.1.3一個實例/187
12.2實例: 編寫Spark程式使用Kafka數據源/188
12.2.1Kafka準備工作/188
12.2.2Spark準備工作/190
12.2.3編寫Spark程式使用Kafka數據源/191
12.3本章小結/197
第13章大數據課程綜合實驗案例/198
13.1案例簡介/198
13.1.1案例目的/198
13.1.2適用對象/198
13.1.3時間安排/198
13.1.4預備知識/198
13.1.5硬體要求/199
13.1.6軟體工具/199
13.1.7數據集/199
13.1.8案例任務/199
13.2實驗環境搭建/200
13.3實驗步驟概述/200
13.4本地數據集上傳到數據倉庫Hive/201
13.4.1實驗數據集的下載/201
13.4.2數據集的預處理/203
13.4.3導入資料庫/206
13.5Hive數據分析/209
13.5.1簡單查詢分析/209
13.5.2查詢條數統計分析/211
13.5.3關鍵字條件查詢分析/213
13.5.4根據用戶行為分析/214
13.5.5用戶實時查詢分析/215
13.6Hive、MySQL、HBase數據互導/216
13.6.1Hive預操作/216
13.6.2使用Java API將數據從Hive導入MySQL/217
清華大學出版社-圖書目錄
13.6.3使用HBase Java API把數據從本地導入HBase中/222
13.7使用R進行數據可視化分析/229
13.7.1安裝R/229
13.7.2安裝依賴庫/230
13.7.3可視化分析/232
13.8本章小結/236
第14章實驗/237
14.1實驗一： 熟悉常用的Linux操作和Hadoop操作/237
14.1.1實驗目的/237
14.1.2實驗平台/237
14.1.3實驗步驟/237
14.1.4實驗報告/239
14.2實驗二: 熟悉常用的HDFS操作/239
14.2.1實驗目的/239
14.2.2實驗平台/239
14.2.3實驗步驟/240
14.2.4實驗報告/240
14.3實驗三: 熟悉常用的HBase操作/241
14.3.1實驗目的/241
14.3.2實驗平台/241
14.3.3實驗步驟/241
14.3.4實驗報告/242
14.4實驗四: NoSQL和關係資料庫的操作比較/243
14.4.1實驗目的/243
14.4.2實驗平台/243
14.4.3實驗步驟/243
14.4.4實驗報告/246
14.5實驗五: MapReduce初級編程實踐/247
14.5.1實驗目的/247
14.5.2實驗平台/247
14.5.3實驗步驟/247
14.5.4實驗報告/249
14.6實驗六: 熟悉Hive的基本操作/250
14.6.1實驗目的/250
14.6.2實驗平台/250
14.6.3數據集/250
14.6.4實驗步驟/250
14.6.5實驗報告/251
14.7實驗七: Spark初級編程實踐/252
14.7.1實驗目的/252
14.7.2實驗平台/252
14.7.3實驗步驟/252
14.7.4實驗報告/254
14.8實驗八: Flink初級編程實踐/254
14.8.1實驗目的/254
14.8.2實驗平台/254
14.8.3實驗步驟/254
14.8.4實驗報告/255
附錄A實驗參考答案/256
A.1“實驗一: 熟悉常用的Linux操作和Hadoop操作”實驗步驟/256
A.2“實驗二: 熟悉常用的HDFS操作”實驗步驟/261
A.3“實驗三: 熟悉常用的HBase操作”實驗步驟/280
A.4“實驗四: NoSQL和關係資料庫的操作比較”實驗步驟/289
A.5“實驗五: MapReduce初級編程實踐”實驗步驟/306
A.6“實驗六: 熟悉Hive的基本操作”實驗步驟/315
A.7“實驗七: Spark初級編程實踐”實驗步驟/319
A.8“實驗八: Flink初級編程實踐”實驗步驟/325
附錄BLinux系統中的MySQL安裝及常用操作/343
B.1安裝MySQL/343
B.2MySQL常用操作/346
參考文獻/350
