大數據基礎編程、實驗和案例教程

《大數據基礎編程、實驗和案例教程》是2017年8月清華大學出版社出版的圖書，作者是林子雨。

基本介紹

• 書名：大數據基礎編程、實驗和案例教程
• 作者：林子雨
• ISBN：9787302472094
• 定價：59元
• 出版社：清華大學出版社
• 出版時間：2017年8月

內容簡介

本書以大數據分析全流程為主線，介紹了數據採集、數據存儲與管理、數據處理與分析、數據可視化等環節典型軟體的安裝、使用和基礎編程方法。本書內容涵蓋作業系統（Linux和Windows）、開發工具（Eclipse）以及大數據相關技術、軟體（Sqoop、Kafka、Flume、Hadoop、HDFS、MapReduce、HBase、Hive、Spark、MySQL、MongoDB、Redis、R、Easel.ly、D3、魔鏡、ECharts、Tableau）等。同時，本書還提供了豐富的課程實驗和綜合案例，以及大量免費的線上教學資源，可以較好地滿足高等院校大數據教學實際需求。

本書是《大數據技術原理與套用——概念、存儲、處理、分析與套用》的“姊妹篇”，可以作為高等院校計算機、信息管理等相關專業的大數據課程輔助教材，用於指導大數據編程實踐；也可供相關技術人員參考。

圖書目錄

第1章大數據技術概述/1

1.1大數據時代/1

1.2大數據關鍵技術/2

1.3大數據軟體/3

1.3.1Hadoop/4

1.3.2Spark/5

1.3.3NoSQL資料庫/5

1.3.4數據可視化/6

1.4內容安排/7

1.5線上資源/8

1.5.1線上資源一覽表/9

1.5.2下載專區/9

1.5.3線上視頻/10

1.5.4拓展閱讀/11

1.5.5大數據課程公共服務平台/11

1.6本章小結/12第2章Linux系統的安裝和使用/13

2.1Linux系統簡介/13

2.2Linux系統安裝/13

2.2.1下載安裝檔案/14

2.2.2Linux系統的安裝方式/14

2.2.3安裝Linux虛擬機/15

2.2.4生成Linux虛擬機鏡像檔案/36

2.3Linux系統及相關軟體的基本使用方法/38

2.3.1Shell/38

2.3.2root用戶/38

2.3.3創建普通用戶/38〖2〗〖4〗大數據基礎編程、實驗和案例教程〖3〗2.3.4sudo命令/39

2.3.5常用的Linux系統命令/40

2.3.6檔案解壓縮/40

2.3.7常用的/41

2.3.8的許可權/41

2.3.9更新APT/41

2.3.10切換中英文輸入法/43

2.3.11vim編輯器的使用方法/43

2.3.12在Windows系統中使用SSH方式登錄Linux系統/44

2.3.13在Linux中安裝Eclipse/48

2.3.14其他使用技巧/49

2.4關於本書內容的一些約定/49

2.5本章小結/50第3章Hadoop的安裝和使用/51

3.1Hadoop簡介/51

3.2安裝Hadoop前的準備工作/52

3.2.1創建hadoop用戶/52

3.2.2更新APT/52

3.2.3安裝SSH/52

3.2.4安裝Java環境/53

3.3安裝Hadoop/55

3.3.1下載安裝檔案/55

3.3.2單機模式配置/56

3.3.3偽分散式模式配置/57

3.3.4分散式模式配置/66

3.3.5使用Docker搭建Hadoop分散式集群/75

3.4本章小結/87第4章HDFS操作方法和基礎編程/88

4.1HDFS操作常用Shell命令/88

4.1.1查看命令使用方法/88

4.1.2HDFS操作/90

4.2利用HDFS的Web管理界面/92

4.3HDFS編程實踐/92

4.3.1在Eclipse中創建項目/93

4.3.2為項目添加需要用到的JAR包/94

4.3.3編寫Java應用程式/96

4.3.4編譯運行程式/98

4.3.5應用程式的部署/100

4.4本章小結/102第5章HBase的安裝和基礎編程/103

5.1安裝HBase/103

5.1.1下載安裝檔案/103

5.1.2配置環境變數/104

5.1.3添加用戶許可權/104

5.1.4查看HBase版本信息/104

5.2HBase的配置/105

5.2.1單機模式配置/105

5.2.2偽分散式配置/107

5.3HBase常用Shell命令/109

5.3.1在HBase中創建表/109

5.3.2添加數據/110

5.3.3查看數據/110

5.3.4刪除數據/111

5.3.5刪除表/112

5.3.6查詢歷史數據/112

5.3.7退出HBase資料庫/112

5.4HBase編程實踐/113

5.4.1在Eclipse中創建項目/113

5.4.2為項目添加需要用到的JAR包/116

5.4.3編寫Java應用程式/117

5.4.4編譯運行程式/123

5.4.5應用程式的部署/124

5.5本章小結/124第6章典型NoSQL資料庫的安裝和使用/125

6.1Redis安裝和使用/125

6.1.1Redis簡介/125

6.1.2安裝Redis/125

6.1.3Redis實例演示/127

6.2MongoDB的安裝和使用/128

6.2.1MongDB簡介/129

6.2.2安裝MongoDB/129

6.2.3使用Shell命令操作MongoDB/130

6.2.4Java API編程實例/136

6.3本章小結/139第7章MapReduce基礎編程/140

7.1詞頻統計任務要求/140

7.2MapReduce程式編寫方法/141

7.2.1編寫Map處理邏輯/141

7.2.2編寫Reduce處理邏輯/141

7.2.3編寫main方法/142

7.2.4完整的詞頻統計程式/143

7.3編譯打包程式/144

7.3.1使用命令行編譯打包詞頻統計程式/145

7.3.2使用Eclipse編譯運行詞頻統計程式/145

7.4運行程式/154

7.5本章小結/156第8章數據倉庫Hive的安裝和使用/157

8.1Hive的安裝/157

8.1.1下載安裝檔案/157

8.1.2配置環境變數/158

8.1.3修改配置檔案/158

8.1.4安裝並配置MySQL/159

8.2Hive的數據類型/161

8.3Hive基本操作/162

8.3.1創建資料庫、表、視圖/162

8.3.2刪除資料庫、表、視圖/163

8.3.3修改資料庫、表、視圖/164

8.3.4查看資料庫、表、視圖/165

8.3.5描述資料庫、表、視圖/165

8.3.6向表中裝載數據/166

8.3.7查詢表中數據/166

8.3.8向表中插入數據或從表中導出數據/166

8.4Hive套用實例: WordCount/167

8.5Hive編程的優勢/167

8.6本章小結/168第9章Spark的安裝和基礎編程/169

9.1基礎環境/169

9.2安裝Spark/169

9.2.1下載安裝檔案/169

9.2.2配置相關檔案/170

9.3使用 Spark Shell編寫代碼/171

9.3.1啟動Spark Shell/171

9.3.2讀取檔案/172

9.3.3編寫詞頻統計程式/174

9.4編寫Spark獨立應用程式/174

9.4.1用Scala語言編寫Spark獨立應用程式/175

9.4.2用Java語言編寫Spark獨立應用程式/178

9.5本章小結/182第10章典型的可視化工具的使用方法/183

10.1Easel.ly信息圖製作方法/183

10.1.1信息圖/183

10.1.2信息圖製作基本步驟/183

10.2D3可視化庫的使用方法/186

10.2.1D3可視化庫的安裝/187

10.2.2基本操作/187

10.3可視化工具Tableau使用方法/194

10.3.1安裝Tableau/195

10.3.2界面功能介紹/195

10.3.3Tableau簡單操作/197

10.4使用“魔鏡”製作圖表/202

10.4.1“魔鏡”簡介/202

10.4.2簡單製作實例/202

10.5使用ECharts圖表製作/206

10.5.1ECharts簡介/206

10.5.2ECharts圖表製作方法/206

10.5.3兩個實例/210

10.6本章小結/217第11章數據採集工具的安裝和使用/218

11.1Flume/218

11.1.1安裝Flume/218

11.1.2兩個實例/220

11.2Kafka/225

11.2.1Kafka相關概念/225

11.2.2安裝Kafka/225

11.2.3一個實例/225

11.3Sqoop/227

11.3.1下載安裝檔案/227

11.3.2修改配置檔案/228

11.3.3配置環境變數/228

11.3.4添加MySQL驅動程式/228

11.3.5測試與MySQL的連線/229

11.4實例: 編寫Spark程式使用Kafka數據源/230

11.4.1Kafka準備工作/230

11.4.2Spark準備工作/232

11.4.3編寫Spark程式使用Kafka數據源/234

11.5本章小結/239第12章大數據課程綜合實驗案例/241

12.1案例簡介/241

12.1.1案例目的/241

12.1.2適用對象/241

12.1.3時間安排/241

12.1.4預備知識/241

12.1.5硬體要求/242

12.1.6軟體工具/242

12.1.7數據集/242

12.1.8案例任務/242

12.2實驗環境搭建/243

12.3實驗步驟概述/244

12.4本地數據集上傳到數據倉庫Hive/245

12.4.1實驗數據集的下載/245

12.4.2數據集的預處理/246

12.4.3導入資料庫/249

12.5Hive數據分析/253

12.5.1簡單查詢分析/253

12.5.2查詢條數統計分析/255

12.5.3關鍵字條件查詢分析/256

12.5.4根據用戶行為分析/258

12.5.5用戶實時查詢分析/259

12.6Hive、MySQL、HBase數據互導/260

12.6.1Hive預操作/260

12.6.2使用Sqoop將數據從Hive導入MySQL/261

12.6.3使用Sqoop將數據從MySQL導入HBase/265

12.6.4使用HBase Java API把數據從本地導入到HBase中/269

12.7利用R進行數據可視化分析/275

12.7.1安裝R/275

12.7.2安裝依賴庫/277

12.7.3可視化分析/278

12.8本章小結/283第13章實驗/284

13.1實驗一： 熟悉常用的Linux操作和Hadoop操作/284

13.1.1實驗目的/284

13.1.2實驗平台/284

13.1.3實驗步驟/284

13.1.4實驗報告/286

13.2實驗二: 熟悉常用的HDFS操作/286

13.2.1實驗目的/286

13.2.2實驗平台/286

13.2.3實驗步驟/287

13.2.4實驗報告/287

13.3實驗三: 熟悉常用的HBase操作/288

13.3.1實驗目的/288

13.3.2實驗平台/288

13.3.3實驗步驟/288

13.3.4實驗報告/290

13.4實驗四: NoSQL和關係資料庫的操作比較/290

13.4.1實驗目的/290

13.4.2實驗平台/290

13.4.3實驗步驟/290

13.4.4實驗報告/293

13.5實驗五: MapReduce初級編程實踐/294

13.5.1實驗目的/294

13.5.2實驗平台/294

13.5.3實驗步驟/294

13.5.4實驗報告/297附錄A大數據課程實驗答案/298

A.1實驗一: 熟悉常用的Linux操作和Hadoop操作/298

A.1.1實驗目的/298

A.1.2實驗平台/298

A.1.3實驗步驟/298

A.2實驗二: 熟悉常用的HDFS操作/303

A.2.1實驗目的/303

A.2.2實驗平台/303

A.2.3實驗步驟/303

A.3實驗三: 熟悉常用的HBase操作/323

A.3.1實驗目的/323

A.3.2實驗平台/323

A.3.3實驗步驟/323

A.4實驗四: NoSQL和關係資料庫的操作比較/331

A.4.1實驗目的/331

A.4.2實驗平台/331

A.4.3實驗步驟/332

A.5實驗五: MapReduce初級編程實踐/349

A.5.1實驗目的/349

A.5.2實驗平台/349

A.5.3實驗步驟/350附錄BLinux系統中的MySQL安裝及常用操作/360

B.1安裝MySQL/360

B.2MySQL常用操作/363參考文獻/367