《大數據綜合實戰案例教程》是機械工業出版社於2020年出版的書籍
基本介紹
- 中文名：大數據綜合實戰案例教程
- 作者：譚志彬 、 鄧立 、 吳子穎 編
- 出版時間：2020年11月12日
- 出版社：機械工業出版社
- ISBN：9787111661030
- 定價：49 元
- 開本：16 開
圖書簡介,圖書目錄,
圖書簡介
本書以某市計程車行業為背景介紹大數據技術在項目中的套用。全書共10章，第1章交通大數據概述，第2章某市計程車實戰案例部署，第3章某市計程車項目設計，第4章Python語言基礎，第5章數據提取，第6章數據清洗，第7章數據存儲，第8章數據分析處理，第9章ECharts的套用，第10章某市計程車綜合編程實踐。 本書適合作為各類職業院校大數據及相關專業的教材，也可作為大數據開發工程師及其他科技工作者的參考用書。
圖書目錄
前 言
第1章 交通大數據概述........................................1
1.1 大數據概述.......................................................................................3
1.2 大數據處理過程................................................................................5
1.3 交通大數據的來源............................................................................7
1.4 交通大數據的套用............................................................................9
1.5 交通大數據發展面臨的挑戰.............................................................10
1.6 思考練習........................................................................................11
第2章 某市計程車項目實戰案例部署.....................13
2.1 項目背景........................................................................................15
2.2 主要流程........................................................................................15
2.3 項目難點分析.................................................................................16
2.4 數據載入........................................................................................16
2.5 本地開發環境搭建..........................................................................20
2.6 發布Tomcat可視化頁面.................................................................31
2.7 數據可視化效果展示.......................................................................34
2.8 思考練習........................................................................................44
第3章 某市計程車項目設計................................45
3.1 數據源...........................................................................................47
3.2 項目整體架構設計..........................................................................48
3.3 選擇所需軟體.................................................................................49
3.4 Hadoop集群規劃...........................................................................49
3.5 大數據ETL過程..............................................................................50
3.6 思考練習........................................................................................53
第4章 Python語言基礎...................................55
4.1 Python語言概述............................................................................57
4.2 PyCharm概述...............................................................................58
4.3 Python基礎...................................................................................64
4.4 思考練習........................................................................................72
第5章 數據提取...............................................73
5.1 數據爬蟲........................................................................................75
5.2 檔案數據提取.................................................................................86
5.3 思考練習........................................................................................93
第6章 數據清洗..............................................95
6.1 數據清洗過濾.................................................................................97
6.2 各類格式檔案的數據輸出..............................................................105
6.3 思考練習......................................................................................110
第7章 數據存儲..............................................111
7.1 HDFS載入存儲............................................................................113
7.2 Sqoop載入存儲...........................................................................116
7.3 思考練習......................................................................................120
第8章 數據分析處理.......................................121
8.1 MapReduce概述.........................................................................123
8.2 MapReduce體系結構..................................................................125
8.3 MapReduce工作流程..................................................................125
8.4 MapReduce開發環境配置...........................................................127
8.5 統計求和......................................................................................139
8.6 全排序.........................................................................................147
8.7 二次排序......................................................................................150
8.8 最值.............................................................................................156
8.9 連線.............................................................................................160
8.10 思考練習....................................................................................163
第9章 ECharts的套用...................................165
9.1 ECharts的基本概念.....................................................................167
9.2 ECharts快速上手........................................................................170
9.3 思考練習......................................................................................190
第10章 某市計程車項目綜合編程實踐.................193
10.1 項目整體需求分析......................................................................195
10.2 項目架構....................................................................................196
10.3 數據Extract—— 提取格式轉換....................................................197
10.4 數據Transform—— 數據過濾.....................................................198
10.5 數據Transform—— 補充空數據..................................................201
10.6 數據Load—— 檔案HDFS存儲....................................................203
10.7 數據Transform—— MapReduce...............................................204
10.8 數據Load—— Sqoop導出數據...................................................218
10.9 數據可視化................................................................................220
10.10 思考練習..................................................................................229
參考文獻......................................................230
