《大數據平台套用》是2020年3月電子工業出版社出版的圖書，作者是張靖、李俊翰。
基本介紹
- 中文名：大數據平台套用
- 作者：張靖、李俊翰
- 出版社：電子工業出版社
- 出版時間：2020年3月
- 頁數：196 頁
- 定價：39 元
- 開本：16 開
- ISBN：9787121385407
內容簡介,圖書目錄,
內容簡介
本書是結合職業教育的實際情況開發的雲計算技術與套用專業系列教材之一。對雲計算技術與套用專業、大數據技術與套用專業或者大數據初學者是一本不錯的入門教程。本書強調理論知識以夠用為度，注重動手能力，在動手中逐漸掌握大數據相關技術。本書內容包括大數據概述、Hadoop基礎知識、大數據平台搭建、數據的獲取、數據清理、數據分析、數據可視化、大數據管理平台Ambari等知識。涵蓋內容較為廣泛，但注重點到為止，方便讀者迅速入門。
圖書目錄
第1章 感知大數據 1
任務1 認知大數據 1
子任務1 定義大數據 2
子任務2 洞悉大數據的特徵 2
任務2 探究大數據常用的技術 3
任務3 窺視大數據的商業套用 4
課後練習 5
第2章 環視Hadoop 6
任務1 溯源Hadoop 6
子任務1 較量Hadoop與傳統檔案系統 8
子任務2 發現Hadoop的核心和特點 9
子任務3 初訪MapReduce 10
任務2 查究Hadoop分散式檔案系統 12
子任務1 探究HDFS工作機制 12
子任務2 釐清HDFS的前提和設計目標 15
子任務3 深挖HDFS的核心機制 19
任務3 構建MapReduce編程模型 22
子任務1 解構MapReduce編程模型 22
子任務2 揭秘YARN與MapReduce 24
任務4 漫遊Hadoop系統及其生態圈 25
課後練習 32
第3章 部署Hadoop大數據平台 34
任務1 掌控Hadoop平台的部署模式 34
任務2 部署Hadoop集群 36
任務3 編寫首個MapReduce程式 59
任務4 初次運行MapReduce程式 60
課後練習 64
本章附錄 65
第4章 設計爬蟲獲取數據源 69
任務1 初探大數據 69
任務2 剖析大數據 74
任務3 爬取大數據 76
任務4 活用Scrapy框架高效編制爬蟲 79
任務5 運用Scrapy 81
課後練習 89
第5章 清洗數據與存儲結構化 91
任務1 揭示數據清洗 91
任務2 清洗數據 92
子任務1 熟知數據的基本操作 92
子任務2 處理數據缺失 94
子任務3 規範化數據 96
子任務4 處理數據表結構的錯誤 97
子任務5 處理日期數據的問題 102
任務3 使用分散式資料庫系統和結構存儲數據 104
子任務1 安裝並使用Hive數據倉庫 104
子任務2 安裝並使用HBase分散式資料庫 110
課後練習 114
第6章 分析大數據 115
任務1 透視數據分析 115
任務2 構建分析模型 116
子任務1 釐清數據分析過程 116
子任務2 數據機器學習模型 117
任務3 運用大數據分析算法分析數據 119
子任務1 運用K-Means聚類算法分析數據 120
子任務2 運用線性回歸算法分析數據 123
子任務3 運用決策樹算法分析數據 127
課後練習 130
第7章 可視化大數據 131
任務1 洞察pyecharts庫 131
任務2 活用可視化 132
子任務1 活用柱狀圖/條形圖（Bar） 132
子任務2 活用散點圖（EffectScatter） 139
子任務3 活用漏斗圖（Funnel） 142
子任務4 活用儀錶盤（Gauge） 143
子任務5 活用地理坐標圖（Geo） 144
子任務6 活用關係圖（Graph） 145
子任務7 活用熱力圖（HeatMap） 148
子任務8 活用K線圖（Kline/Candlestick） 150
子任務9 活用折線圖/面積圖（Line） 152
子任務10 活用水球圖（Liquid） 153
子任務11 活用地圖（Map） 154
子任務12 活用餅圖（Pie） 155
子任務13 活用平行坐標系（Parallel） 156
子任務14 活用雷達圖（Radar） 159
子任務15 活用詞雲（WordCloud）圖 160
課後練習 161
第8章 平台化快速部署Hadoop 163
任務1 探尋大數據管理平台 163
任務2 配置基礎環境 165
子任務1 配置Linux系統 165
子任務2 禁用Transparent Huge Pages 169
子任務3 安裝並配置JDK 170
任務3 安裝並配置Ambari 170
任務4 快速部署Hadoop大數據集群 173
課後練習 178
附錄A 課後練習參考答案 179
