Hive數據倉庫技術與套用

《Hive數據倉庫技術與套用》是2020年中國鐵道出版社出版的圖書。

基本介紹

• 中文名：Hive數據倉庫技術與套用
• 作者：朱曉彥,方明清,李強
• 出版時間：2020年
• 出版社：中國鐵道出版社
• ISBN：9787113271947
• 類別：計算機類圖書
• 開本：16 開
• 裝幀：平裝-膠訂

內容簡介

本書是大數據技術與套用專業校企合作系列教材之一，採用模組化的編寫思路，內容包括Hive概述、環境準備、Hadoop搭建和配置、安裝Hive的基礎操作、HiveQL的數據定義、HiveQL語句、Hive綜合套用7個單元和25個教學任務。每個單元通過學習目標引出單元的教學核心內容，明確教學任務。每個任務的編寫分為任務目標、知識學習、任務實施、同步訓練4個環節。*後通過單元小結回顧每個單元的學習重點。本書適合作為高職院校軟體技術、大數據技術及套用專業，以及計算機類相關專業的教材，也可以作為Hive愛好者的參考用書。

圖書目錄

單元1 Hive概述1

任務1.1 Hive的產生背景1

1 Hive的產生背景2

2 Hive的發展歷史和現狀4

3 Hive與Hadoop4

任務1.2 Hive的概念9

1 Hive的系統與部署架構9

2 Hive與RDBM對比12

3數據倉庫的理解12

4 Hive的數據模型15

5 HiveQL與數據存儲16

任務1.3 Hadoop生態與Hive20

1 Pig20

2 HBase21

單元小結25

單元2 環境準備26

任務2.1 VMware與SecureCRT Portable26

1 VMware簡介26

2 VMware的虛擬化27

任務2.2 JDK的配置37

1 JDK的簡介37

2 JDK的版本37

3上傳JDK的介質37

4 tar的解壓與壓縮37

任務2.3 免密登錄41

1 免密登錄用戶41

2免密登錄的優點42

單元小結46

單元3 Hadoop搭建和配置47

任務3.1 Hadoop搭建47

1上傳Hadoop的介質47

2解壓Hadoop壓縮檔48

3配置Hadoop的環境變數48

4配置Hadoop環境變數48

5修改Hadoop的配置檔案49

6啟動Hadoop服務51

7檢查Hadoop的成功52

任務3.2 Hadoop配置57

1 Hadoop簡介57

2 MapReduce綜述61

單元小結70

單元4 安裝Hive的基礎操作71

任務4.1 Hive的模式71

1本地模式72

2遠程模式72

3內嵌模式73

任務4.2 安裝Hive實驗88

1 Hive簡介88

2 Hive的定義88

3設計特徵88

4數據存儲89

任務4.3 Hive命令95

1創建表語句95

2載入數據96

3改變表98

4替換101

5刪除表102

6分區103

任務4.4 Hive命令行界面107

1 CLI選項107

2變數和屬性111

3在Hive內使用Hadoop的DFS命令112

任務4.5 數據類型和檔案格式114

1基本數據類型114

2檔案格式116

3壓縮編碼119

4集合數據類型121

任務4.6 Hive許可權管理125

1開啟許可權126

2許可權操作128

任務4.7 Hive常用最佳化方法137

1控制Reducer數量137

2使用Map Join138

3使用distinct union all 代替union139

4解決數據傾斜的通用方法140

單元小結141

單元5 HiveQL的數據定義143

任務5.1 HiveQL的數據定義143

1 HiveQL的數據定義143

2 HiveQL和SQL的區別146

任務5.2 Hive資料庫150

1 Hive的資料庫150

2修改資料庫屬性151

任務5.3 修改表157

1增加、修改和刪除表分區157

2表重命名157

3增加列157

4刪除或者替換列157

5修改表屬性158

6修改存儲屬性158

7修改表語句158

單元小結162

單元6 HiveQL語句163

任務6.1 SELECT、FROM語句的概念163

1使用正則表達式來指定列163

2使用列值進行計算165

3算術運算符165

4使用函式168

5 LIMIT語句169

6列的別名169

7 CASE、WHEN、THEN句式169

8嵌套SELECT語句172

任務6.2 GROUP BY178

任務6.3 抽樣查詢180

1數據塊抽樣180

2分桶表的輸入裁剪180

任務6.4 WHERE語句181

1謂語操作符182

2浮點數比較183

任務6.5 JOIN語句184

1 JOIN最佳化185

2 LEFT OUTER JOIN186

3 INNER JOIN187

4 FULL OUTER JOIN189

5 LEFT SEMIJOIN189

6 RIGHT OUTER JOIN190

7 OUTER JOIN190

8笛卡兒積JOIN191

9 mapsidejoin192

單元小結194

單元7 Hive綜合套用195

任務7.1 Hive和亞馬遜網路服務系統(AWS)195

1彈性MapReduce的優點196

2注意事項196

3 EMR上的實例196

任務7.2 Hive綜合案例199

1 Hive操作演示199

2交易數據演示207

單元小結227

參考文獻228

作者簡介

朱曉彥，安徽工業經濟職業技術學院；方明清，珠海城市職業技術學院；李強，珠海城市職業技術學院