大數據概論(2022年清華大學出版社出版書籍)

《大數據概論》是清華大學出版社於2022年出版的書籍，作者是高騰剛、程星晶、霍雨佳、王新穎、王佳堯、王芮、王堅、楊雲江。

基本介紹

• 中文名：大數據概論
• 作者：高騰剛、程星晶、霍雨佳、王新穎、王佳堯、王芮、王堅、楊雲江
• 出版社：清華大學出版社
• 出版時間：2022年1月1日
• 定價：58 元
• ISBN：9787302592563

內容簡介

本書理論聯繫實際，配以大量實例，系統地介紹了大數據有關的基礎知識。全書共分10章，內容包括大數據概述，大數據、雲計算與物聯網，大數據架構與Hadoop，數據採集與預處理，大數據分析與大數據挖掘，數據存儲與HDFS，MapReduce，數據可視化，大數據安全，大數據套用案例。 本書主要作為本科和高職高專相關專業的教材，也可作為相關行業從業人員的讀物，還可以作為培訓教材。

目錄

第1章大數據概述1

1.1大數據定義和特徵1

1.1.1大數據定義1

1.1.2大數據的特徵1

1.1.3大數據發展歷程2

1.2大數據的影響4

1.3大數據發展趨勢4

1.4大數據的關鍵技術8

1.5大數據的計算模式10

1.6大數據的套用領域11

1.7數據資源化和交易13

1.7.1數據資源化13

1.7.2大數據交易14

1.8大數據安全與隱私15

1.9本章小結16

習題17

第2章大數據、雲計算與物聯網18

2.1雲計算18

2.1.1雲計算概述18

2.1.2雲計算的分類19

2.1.3雲計算的基本特點20

2.1.4雲計算的關鍵技術21

2.1.5雲計算的套用24

2.2物聯網26

2.2.1物聯網概述27

2.2.2物聯網的發展過程27

2.2.3物聯網的特徵28

2.2.4物聯網的關鍵技術30

2.2.5物聯網系統結構31

2.2.6物聯網的套用33

2.3大數據、雲計算與物聯網三者之間的關係36

2.4本章小結39

目錄大數據概論習題39

第3章大數據架構與Hadoop40

3.1大數據架構40

3.1.1大數據架構概述40

3.1.2數據類型41

3.1.3大數據架構及數據解決方案42

3.2Hadoop概述46

3.2.1Hadoop簡介46

3.2.2Hadoop的發展歷程46

3.2.3Hadoop的特點47

3.2.4Hadoop套用現狀47

3.2.5Hadoop的版本49

3.3Hadoop的生態系統概述50

3.3.1Hadoop的生態系統50

3.3.2Hadoop的組成介紹51

3.4Hadoop的安裝55

3.4.1安裝前的準備55

3.4.2安裝VirtualBox56

3.4.3安裝Linux發行版Ubuntu57

3.4.4創建Hadoop用戶61

3.4.5設定SSH無密碼登錄61

3.4.6安裝Java環境62

3.4.7安裝單機Hadoop62

3.4.8安裝偽分散式Hadoop63

3.5本章小結66

習題66

第4章數據採集與預處理67

4.1大數據採集67

4.1.1大數據採集概述67

4.1.2大數據採集方法70

4.2大數據採集工具72

4.2.1Flume73

4.2.2Kafka75

4.2.3Sqoop77

4.2.4Scribe80

4.3大數據預處理技術81

4.3.1預處理意義81

4.3.2預處理方法82

4.4本章小結91

習題92

第5章大數據分析與大數據挖掘93

5.1大數據分析的基本概念93

5.1.1數據分析概論93

5.1.2數據分析的類型94

5.2大數據分析方法95

5.2.1數據分析方法概述95

5.2.2數據分析過程97

5.2.3數據處理結果分析98

5.3數據挖掘概述105

5.3.1數據和知識105

5.3.2數據挖掘的概念106

5.3.3數據挖掘過程106

5.3.4數據挖掘技術107

5.4分類算法108

5.4.1樸素貝葉斯分類109

5.4.2SVM算法114

5.5聚類算法117

5.5.1kmeans算法118

5.5.2DBSCAN算法121

5.6Apriori頻繁項集挖掘算法125

5.6.1Apriori算法原理126

5.6.2Apriori算法的基本思想127

5.6.3Apriori算法流程128

5.6.4Apriori算法的優缺點128

5.6.5Apriori算法實例129

5.7常用挖掘工具130

5.7.1Mahout130

5.7.2Spark MLlib132

5.8本章小結135

習題135

第6章數據存儲與HDFS136

6.1大數據存儲136

6.1.1大數據存儲概述136

6.1.2分散式存儲系統137

6.1.3雲存儲140

6.2數據倉庫141

6.2.1數據倉庫概述141

6.2.2數據倉庫架構及構建143

6.2.3數據集市147

6.3HDFS簡介148

6.3.1HDFS概述148

6.3.2HDFS的優點和缺點149

6.4HDFS基本技術150

6.4.1數據塊150

6.4.2名稱節點、數據節點和第二名稱節點151

6.5HDFS體系結構154

6.5.1HDFS體系結構概述154

6.5.2HDFS命名空間155

6.5.3通信協定和客戶端155

6.5.4HDFS 1.0體系結構的局限性155

6.5.5HDFS 2.0設計156

6.6HDFS存儲原理156

6.6.1數據的冗餘存儲156

6.6.2如何存取數據157

6.6.3如何恢複數據158

6.7HDFS的檔案讀寫操作過程159

6.7.1HDFS讀取數據的過程159

6.7.2HDFS寫入數據的過程161

6.8HDFS編程實例163

6.8.1使用Shell命令與HDFS進行互動163

6.8.2在Web上顯示HDFS165

6.8.3使用Java API與HDFS進行互動166

6.9本章小結170

習題170