Hive數據倉庫套用

《Hive數據倉庫套用》是清華大學出版社2021年出版的書籍。

基本介紹

• 中文名：Hive數據倉庫套用
• 作者：黑馬程式設計師
• 出版社：清華大學出版社
• 出版時間：2021年9月1日
• 定價：59.8
• ISBN：9787302589594

內容簡介

本書從理論知識入手，結合數據倉庫的概念幫助讀者更好地理解Hive，在掌握Hive相關理論知識的基礎上，逐步深入地學習Hive。“工欲善其事，必先利其器”，首先從創建虛擬機並安裝Linux作業系統開始逐步完成Hive的部署，然後在部署完成的Hive環境基礎上，學習Hive數據定義語言、Hive數據操作語言和Hive數據查詢語言的相關操作，在學習了上述三種語言之後，接下來深入學習Hive的其他功能，包括Hive內置函式、Hive自定義函式、Hive的新特性事務以及Hive的相關最佳化，從而幫助讀者掌握Hive的強大功能和特性。最後，本書通過一個綜合項目——教育大數據分析平台，使讀者對Hive數據倉庫在實際套用中涉及的相關知識內容具有更深入的理解，在此項目中不僅會涉及使用Hive實現數據倉庫分層、數據轉換和數據分析的相關操作，而且還涉及使用Sqoop將數據倉庫中的數據進行導出和導入，以及使用FineBI工具實現數據可視化功能。

本書可以作為高等學校本、專科計算機相關專業，信息管理等相關專業的大數據課程教材，也可以供相關技術人員參考，是一本適合廣大計算機編程愛好者的優秀讀物。

圖書目錄

目錄

第1章Hive簡介1

1.1認識數據倉庫1

1.1.1數據倉庫簡介1

1.1.2數據倉庫分層3

1.1.3數據倉庫的數據模型5

1.2Hive概述6

1.3Hive架構7

1.4Hive工作原理8

1.5Hive數據類型9

1.6本章小結10

1.7課後習題11

第2章Hive部署12

2.1Linux環境的搭建12

2.1.1創建虛擬機12

2.1.2啟動虛擬機並安裝Linux操作

系統19

2.1.3克隆虛擬機26

2.1.4配置Linux系統網路及主機名30

2.1.5配置SSH服務34

2.2JDK的部署42

2.3Zookeeper的部署43

2.3.1Zookeeper集群的安裝與配置43

2.3.2Zookeeper集群的啟動與關閉46

2.4Hadoop的部署48

2.4.1Hadoop高可用集群的規劃48

2.4.2安裝Hadoop49

2.4.3配置Hadoop高可用集群51

2.4.4啟動Hadoop高可用集群58

2.5Hive的部署622.5.1Hive部署之嵌入模式62

2.5.2Hive部署之本地模式64

2.5.3Hive部署之遠程模式70

2.6本章小結74

2.7課後習題74

目錄Hive數據倉庫套用第3章Hive的數據定義語言76

3.1資料庫的基本操作76

3.1.1創建資料庫76

3.1.2查詢資料庫77

3.1.3查看資料庫信息78

3.1.4切換資料庫79

3.1.5修改資料庫79

3.1.6刪除資料庫80

3.2數據表的基本操作81

3.2.1CREATE TABLE句式分析81

3.2.2數據表簡介84

3.2.3創建數據表84

3.2.4查看數據表86

3.2.5修改數據表88

3.2.6刪除數據表94

3.3分區表95

3.3.1創建分區表95

3.3.2查詢分區表96

3.3.3添加分區97

3.3.4重命名分區98

3.3.5移動分區98

3.3.6刪除分區100

3.4分桶表101

3.4.1創建分桶表101

3.4.2查看分桶表信息102

3.5臨時表103

3.6視圖104

3.6.1創建視圖105

3.6.2查詢視圖信息105

3.6.3查看視圖106

3.6.4修改視圖107

3.6.5刪除視圖109

3.7索引109

3.7.1Hive中的索引110

3.7.2創建索引110

3.7.3查看索引表111

3.7.4查看索引111

3.7.5重建索引112

3.7.6刪除索引113

3.8本章小結114

3.9課後習題114

第4章Hive的數據操作語言116

4.1載入檔案116

4.1.1載入檔案的語法格式116

4.1.2向分區表載入檔案119

4.2基本查詢120

4.3插入數據121

4.3.1基本插入121

4.3.2查詢插入123

4.3.3向分區表插入數據127

4.4IMPORT和EXPORT131

4.5本章小結133

4.6課後習題133

第5章Hive數據查詢語言135

5.1SELECT句式分析135

5.2Hive運算符138

5.2.1關係運算符138

5.2.2算術運算符140

5.2.3邏輯運算符142

5.2.4複雜運算符143

5.3公用表表達式146

5.4分組操作147

5.5排序操作149

5.6UNION語句154

5.7JOIN語句156

5.8抽樣查詢161

5.8.1隨機抽樣161

5.8.2分桶抽樣162

5.8.3數據塊抽樣162

5.9本章小結164

5.10課後習題164

第6章Hive函式165

6.1Hive內置函式165

6.1.1聚合函式165

6.1.2數學函式169

6.1.3集合函式170

6.1.4類型轉換函式171

6.1.5日期函式172

6.1.6條件函式176

6.1.7字元串函式178

6.1.8表生成函式182

6.2Hive自定義函式185

6.2.1UDF186

6.2.2UDTF196

6.2.3UDAF199

6.3本章小結203

6.4課後習題203

第7章Hive事務205

7.1事務特性205

7.2Hive事務的設計與實現206

7.3開啟Hive事務207

7.4更新操作209

7.5刪除操作210

7.6本章小結211

7.7課後習題211

第8章Hive最佳化213

8.1Hive存儲最佳化213

8.2Hive參數最佳化215

8.2.1配置MapReduce壓縮215

8.2.2配置Map個數216

8.2.3配置Reduce個數217

8.2.4配置合併檔案217

8.2.5配置並行執行218

8.2.6配置本地模式218

8.2.7配置分組219

8.3HiveQL語句最佳化技巧219

8.4本章小結219

8.5課後習題220

第9章綜合項目——教育大數據分析平台221

9.1項目概述221

9.1.1項目背景介紹221

9.1.2需求分析222

9.1.3原始數據結構222

9.1.4數據倉庫分層設計223

9.1.5項目架構224

9.2部署Sqoop225

9.3實現數據倉庫分層227

9.4數據採集231

9.5數據轉換235

9.6數據分析237

9.6.1實現地區訪問用戶量統計237

9.6.2實現會話頁面排行榜238

9.6.3實現訪問用戶量統計240

9.6.4實現來源渠道訪問用戶量統計241

9.6.5實現諮詢率統計242

9.7數據可視化245

9.7.1導出數據245

9.7.2安裝、啟動與配置FineBI247

9.7.3實現數據可視化260

9.8本章小結271