《高等學校大數據技術與套用規劃教材：Hadoop大數據分析》是2019年7月1日中國鐵道出版社出版的圖書，作者是高永彬、錢亮宏、方誌軍。
基本介紹
- 中文名：高等學校大數據技術與套用規劃教材：Hadoop大數據分析
- 作者：高永彬、錢亮宏、方誌軍
- 出版社：中國鐵道出版社
- ISBN：9787113259198
內容簡介,圖書目錄,
內容簡介
本書從Hadoop的原理和使用出發，在重點介紹Hadoop生態系統的重要組件HDFS、MapReduce、YARN、Hive和Spark的同時，注重大數據分析能力的全面提高。
本書共分13章，主要內容包括Hadoop簡介、HDFS檔案系統、YARN資源管理、MapReduce計算框架、Hive簡介、Hive數據定義、Hive數據操作、Hive數據查詢、Spark簡介、Spark大數據處理、Spark機器學習流程、Spark有監督學習模型和Spark無監督學習模型。
本書內容豐富、體系新穎、結構合理、文字精練，適合作為普通高等院校信息類專業Hadoop大數據分析課程的教材，也可以作為數據科學行業相關從業人員的自學教材。
圖書目錄
第1部分 Hadoop核心基礎
第1章 Hadoop簡介 2
1.1 Hadoop產生背景 2
1.2 Hadoop簡要歷史 3
1.3 Hadoop生態系統組件 3
1.4 Hadoop版本和商用支持 5
1.5 Hadoop的基礎環境配置 6
1.6 Hadoop的安裝 7
1.7 Hadoop的配置 11
1.8 Hadoop的運行 14
小結 19
習題 19
第2章 HDFS檔案系統 20
2.1 HDFS簡介 20
2.2 HDFS架構 20
2.3 HDFS檔案塊 21
2.4 HDFS常用操作 22
小結 24
習題 24
第3章 YARN資源管理 25
3.1 YARN架構 25
3.2 YARN調度策略 26
3.3 YARN常用操作 28
小結 30
習題 31
第4章 MapReduce計算框架 32
4.1 MapReduce原理 32
4.2 MapReduce作業數據流 33
4.3 Hadoop流處理 35
4.4 MapReduce程式實現詞頻
統計 35
4.5 MapReduce程式的Reducer
數量 40
4.6 MapReduce程式的Combiner 41
4.7 MapReduce程式實現數據
連線 43
小結 49
習題 49
第2部分 Hive數據倉庫
第5章 Hive簡介 52
5.1 Hive概述 52
5.2 Hive的安裝 53
5.3 Hive的運行 56
小結 59
習題 59
第6章 Hive數據定義 60
6.1 資料庫操作 60
6.2 數據表基本操作 62
6.3 存儲格式和行格式 65
6.4 數據類型 67
6.5 外部表 70
6.6 分區表 72
小結 74
習題 74
第7章 Hive數據操作 75
7.1 數據導入 75
7.2 數據插入 78
7.3 數據導出 82
小結 84
習題 84
第8章 Hive數據查詢 85
8.1 基本查詢 85
8.2 數據聚合 87
8.3 數據連線 90
小結 92
習題 93
第3部分 Spark數據分析
第9章 Spark簡介 96
9.1 Spark概述 96
9.2 Spark原理 97
9.3 Spark的安裝 98
9.4 Spark運行方式 99
9.5 Spark運行位置 101
9.6 Spark運行參數 104
小結 104
習題 104
第10章 Spark大數據處理 105
10.1 數據框的創建 105
10.2 數據框的選擇 107
10.3 數據框的運算和聚合 110
10.4 數據框的增加、刪除
和修改 114
10.5 數據框的連線 116
10.6 數據框的變形 119
小結 120
習題 120
第11章 Spark機器學習流程 121
11.1 數據探索 122
11.2 數據劃分 123
11.3 數據填充 124
11.4 類別變數處理 125
11.5 特徵選擇 128
11.6 建模與調優 131
11.7 測試與評估 133
小結 135
習題 135
第12章 Spark有監督學習模型 136
12.1 線性回歸模型 140
12.2 邏輯回歸模型 142
12.3 決策樹模型 145
12.4 隨機森林模型 152
12.5 神經網路 158
12.6 協同過濾 163
小結 166
習題 166
第13章 Spark無監督學習模型 167
13.1 k均值聚類模型 168
13.2 主成分分析模型 172
13.3 關聯分析模型 173
小結 176
習題 176
