大數據技術入門——Hadoop+Spark

內容簡介

本書基礎理論、套用開發以及實際案例相結合，圍繞Hadoop、Spark生態圈循序漸進地介紹關於大數據技術領域中的基礎知識、套用開發技術和基於Spark的常見機器學習算法，最後以兩個實戰案例全面、系統地套用了本書介紹的基礎知識和套用開發方法。全書共14章，分別為大數據概述、Hadoop簡介及安裝部署、HDFS、MapReduce計算框架、Hive數據倉庫、HBase分散式資料庫、Spark基礎、Spark RDD彈性分散式數據集、Spark SQL、Spark Streaming實時計算框架、Spark Streaming與Flume、Kafka的整合、Spark MLlib 機器學習、實戰案例——分散式優惠券後台套用系統和實戰案例——新聞話題實時統計分析系統，書中的每個知識點都有相應的實現代碼和實例。

本書主要面向廣大從事大數據分析、套用開發、機器學習、數據挖掘的專業人員以及從事高校信息技術專業的教師和高等院校的在讀學生及相關領域的廣大科研人員。

圖書目錄

第1章大數據概述

1.1大數據的研究背景

1.2大數據的定義及其技術特點

1.2.1大數據的定義

1.2.2大數據的基本特點

1.2.3典型的大數據處理需求與計算特徵

1.3大數據處理的主要技術特點與難點

1.4研究大數據的意義

1.5本章小結

第2章Hadoop簡介及安裝部署

2.1Hadoop簡介及生態體系

2.2Hadoop集群架構

2.3Hadoop集群運行環境搭建

2.3.1Hadoop安裝配置過程

2.3.2驗證Hadoop的安裝

2.4本章小結

第3章HDFS

3.1相關基本概念

3.2HDFS存儲架構

3.2.1HDFS寫入流程

3.2.2HDFS讀取流程

3.3HDFS的優點與缺點

3.3.1HDFS的優點

3.3.2HDFS的缺點

3.4HDFS Shell常用命令

3.5HDFS的Java API

3.6本章小結

第4章MapReduce計算框架

4.1MapReduce核心思想

4.2MapReduce的工作原理

4.3MapReduce的運行機制

4.4MapReduce數據本地化

4.5MapReduce編程

4.5.1MapReduce運行模式

4.5.2MapReduce編程組件與數據類型

4.6MapReduce編程示例

4.6.1單詞計數

4.6.2倒排索引

4.7本章小結

第5章Hive數據倉庫

5.1Hive概述

5.1.1Hive簡介

大數據技術入門——Hadoop+Spark

基本介紹

內容簡介

圖書目錄

相關詞條

熱門詞條