大數據技術基礎與實戰

《大數據技術基礎與實戰》是2021年人民郵電出版社出版的圖書。

基本介紹

• 中文名：大數據技術基礎與實戰
• 作者：薛志東 、張雙雙、盧璟祥
• 語言：中文
• 出版時間：2021年9月1日
• 出版社：人民郵電出版社
• 頁數：236 頁
• ISBN：9787115567192
• 開本：16 開
• 裝幀：平裝

內容簡介

本書從技術實戰的角度，帶領讀者一步一步掌握大數據的相關技能。本書不僅提供相應命令、配置檔案，還提供模擬環境演示等，並儘可能通過案例和實操降低大數據學習的門檻，力求讓讀者學以致用。

本書主要內容包括大數據技術概述、Linux基礎與集群搭建、Hadoop集群配置、HDFS、MapReduce分散式編程、Hive大數據倉庫、HBase資料庫部署與操作、數據獲取與Flume套用、基於Spark的記憶體計算，以及利用大數據平台處理圖像及視頻。

圖書目錄

第1章 大數據技術概述 1

1．1 大數據的概念與基本特性 1

1．2 大數據處理流程 2

1．3 Hadoop大數據技術 3

1．3．1 Hadoop簡介 3

1．3．2 Hadoop的發行版本 5

1．4 實踐環境準備 7

習題 15

第2章 Linux基礎與集群搭建 16

2．1 Linux常用命令 16

2．1．1 用戶和用戶組 16

2．1．2 檔案與目錄 18

2．1．3 主機名 24

2．1．4 分區管理 25

2．2 網路配置 27

2．2．1 基本網路配置 27

2．2．2 集群網路配置 28

2．3 Linux集群配置 31

2．3．1 SSH免密碼登錄 31

2．3．2 Java環境安裝 33

2．3．3 MySQL服務 34

2．3．4 配置時鐘同步 35

2．4 快速配置Linux集群 37

2．4．1 導入虛擬機 37

2．4．2 快速配置 39

習題 42

第3章 Hadoop集群配置 43

3．1 Hadoop集群安裝 43

3．1．1 基礎環境準備 43

3．1．2 配置Java環境 49

3．1．3 安裝Hadoop 51

3．1．4 啟動Hadoop 58

3．2 Hadoop集群初始化和日誌查看 62

3．2．1 初始化檔案系統 62

3．2．2 集群的啟動與停止 62

3．2．3 查看日誌 63

習題 64

第4章 HDFS 65

4．1 HDFS簡介 65

4．1．1 HDFS的基本概念 65

4．1．2 HDFS檔案的讀取 66

4．1．3 HDFS檔案的寫入 67

4．1．4 HDFS 數據備份 68

4．2 HDFS基本命令 69

4．3 HDFS數據平衡最佳化 72

4．3．1 編程原則 73

4．3．2 平衡邏輯 73

4．3．3 數據平衡案例 74

4．4 HDFS API的使用方法 75

習題 81

第5章 MapReduce分散式編程

82

5．1 MapReduce簡介 82

5．2 詞頻統計編程實例 83

5．3 MapReduce Shuffle過程開發 89

5．3．1 MapReduce數據類型 90

5．3．2 Partitioner負載平衡編程 90

5．3．3 Sort排序編程 92

5．3．4 Combiner減少中間數據編程 93

5．4 MapReduce的性能最佳化 94

5．4．1 Hadoop配置參數調優 94

5．4．2 使用合適的數據類型 95

5．4．3 基準性能測試工具 96

5．5 YARN數據處理框架 99

5．5．1 YARN常用命令 100

5．5．2 使用Web GUI監控實例 102

5．6 MapReduce實戰：繪製頻度分布 104

5．6．1 實戰概述 104

5．6．2 實戰步驟 104

5．6．3 源碼分析 109

習題 114

第6章 Hive大數據倉庫 115

6．1 Hive簡介 115

6．2 Hive安裝及配置 116

6．3 從創建資料庫到創建表 118

6．3．1 數據類型 118

6．3．2 創建資料庫 119

6．3．3 創建表 119

6．3．4 刪除表 121

6．3．5 修改表 121

6．4 數據查詢及自定義函式運算 123

6．4．1 HiveQL操作 123

6．4．2 JOIN語句 124

6．4．3 內置操作符和函式 125

6．5 Hive自定義函式編程 128

6．5．1 數據準備 128

6．5．2 編程實現 129

6．5．3 使用自定義函式 130

6．6 Hive實戰 132

6．6．1 數據準備 133

6．6．2 實戰步驟 133

習題 136

第7章 HBase資料庫部署與操作

138

7．1 HBase簡介 138

7．1．1 HBase表 138

7．1．2 HBase基本知識 138

7．2 HBase的安裝 139

7．2．1 必要條件 139

7．2．2 安裝配置HBase 140

7．2．3 啟動HBase 142

7．3 HBase Shell操作 143

7．3．1 普通命令 145

7．3．2 DDL操作 146

7．3．3 DML操作 148

7．3．4 工具命令 150

7．3．5 複製命令 151

7．4 HBase客戶端API 151

7．4．1 CRUD操作 151

7．4．2 批量處理 155

7．4．3 行鎖 156

7．4．4 掃描 157

7．4．5 數據過濾 158

7．5 HBase客戶端選擇及配置最佳化 159

7．6 HBase與MapReduce集成 159

7．7 HBase集群監控 160

7．8 HBase實戰：公有雲網盤系統管理 164

7．8．1 部署公有雲網盤 165

7．8．2 網盤核心代碼分析 168

習題 171

第8章 數據獲取與Flume套用 172

8．1 公開數據資源獲取 172

8．2 使用網路爬蟲獲取數據 173

8．2．1 爬蟲的工作原理 173

8．2．2 爬蟲的搜尋策略 174

8．2．3 爬蟲的簡單套用 175

8．3 使用Flume獲取數據 177

8．3．1 Flume簡介 177

8．3．2 Flume運行機制 177

8．3．3 Flume安裝部署 179

8．3．4 Flume簡單套用 180

8．4 綜合案例 182

習題 186

第9章 基於Spark的記憶體計算 187

9．1 Spark簡介 187

9．2 Spark快速部署 188

9．2．1 Spark單機模式部署 188

9．2．2 Spark分散式集群部署 189

9．3 Spark程式 192

9．3．1 Spark Shell 192

9．3．2 在IDEA中編寫詞頻統計 193

9．4 Spark RDD編程 197

9．4．1 RDD簡介 197

9．4．2 RDD的操作運算元 198

9．4．3 RDD的持久化 204

9．5 Spark生態系統 205

9．5．1 Spark Core 206

9．5．2 Spark SQL 206

9．5．3 Spark Streaming 206

9．5．4 MLlib 206

9．5．5 GraphX 207

9．6 Spark套用案例 207

9．6．1 案例概述 207

9．6．2 代碼實現 208

9．6．3 運行結果 208

習題 209

第10章 利用大數據平台處理圖像

210

10．1 圖像的基本概念 210

10．2 Hadoop處理圖像的問題與對策 211

10．2．1 Hadoop直接處理圖像存在

的問題 211

10．2．2 解決途徑 212

10．3 HIPI安裝與部署 212

10．4 使用HIPI進行圖像處理 214

10．5 HIPI工具hibDownload 222

10．5．1 編譯hibDownload 222

10．5．2 hibDownload的使用方法 222

10．5．3 hibDownload的工作原理 222

10．5．4 hibDownload的使用示例 230

習題 235

參考文獻 236