《大數據技術概論（微課版）》是2023年清華大學出版社出版的圖書，作者是汪憶、周沁、張二兵、胡斌。
基本介紹
- 中文名：大數據技術概論（微課版）
- 作者：汪憶、周沁、張二兵、胡斌
- 出版時間：2023年7月1日
- 出版社：清華大學出版社
- ISBN：9787302636670
- 定價：59.50 元
內容簡介,圖書目錄,
內容簡介
《大數據技術概論（微課版）》以項目、任務驅動的方式組織內容，以大數據產業鏈六大產業環節為核心構建邏輯，採用新形態活頁的形式進行組織編寫。《大數據技術概論（微課版）》共10個項目，包括認識大數據、了解大數據產業、大數據平台與生態圈、大數據採集、大數據存儲、大數據預處理、大數據分析與挖掘、大數據可視化、中國信創與大數據中台、大數據套用綜合平台典型案例等內容。《大數據技術概論（微課版）》注重課程思政及教學過程考核評價，每個項目的任務評估、項目總結、項目拓展訓練、項目評價等環節可以更好地幫助讀者學好教材內容，同時又能拓展知識面，提高讀者的綜合能力，達到活學活用、舉一反三的目的。
圖書目錄
目 錄
項目1 認識大數據 1
任務1.1 大數據時代 2
1.1.1 大數據時代的來臨 2
1.1.2 大數據時代的發展 5
【任務評估】 9
任務1.2 什麼是大數據 11
1.2.1 大數據的定義 11
1.2.2 大數據的特徵 12
1.2.3 大數據的結構類型 13
1.2.4 數據科學與大數據 14
【任務評估】 15
任務1.3 大數據與其他新興技術 17
1.3.1 雲計算 17
1.3.2 物聯網 19
1.3.3 人工智慧 20
【任務評估】 21
項目總結 23
項目拓展訓練 23
項目評價 25
項目2 了解大數據產業 27
任務2.1 區域大數據發展水平 28
2.1.1 總體概況 29
2.1.2 基礎環境 31
2.1.3 產業發展 33
2.1.4 行業套用 34
【任務評估】 37
任務2.2 行業大數據發展水平 39
2.2.1 總體評價 39
2.2.2 發展特點 40
【任務評估】 43
任務2.3 大數據企業發展水平 45
2.3.1 大數據企業榜單 45
2.3.2 大數據企業細分領域 47
【任務評估】 49
任務2.4 大數據產業發展規劃及
發展趨勢 51
2.4.1 大數據產業發展規劃 51
2.4.2 大數據產業發展趨勢 54
【任務評估】 57
任務2.5 大數據產業人才需求 59
2.5.1 大數據產業人才需求概況 59
2.5.2 大數據產業人才能力要求 60
2.5.3 大數據產業人才及崗位分類 61
2.5.4 大數據產業人才與專業的
關係 61
【任務評估】 63
項目總結 65
項目拓展訓練 65
項目評價 67
項目3 大數據平台與生態圈 69
任務3.1 認識Hadoop大數據平台 70
3.1.1 Hadoop的前世今生 71
3.1.2 Hadoop的特性 73
3.1.3 Hadoop核心組件 73
【任務評估】 79
任務3.2 Hadoop生態圈 81
3.2.1 Hadoop生態圈組件 81
3.2.2 Hadoop版本介紹 85
【任務評估】 87
任務3.3 認識Spark技術架構 89
3.3.1 Spark的發展 89
3.3.2 Spark與Hadoop的區別 90
3.3.3 Spark的運行架構與運行
流程 91
3.3.4 Spark生態圈 93
3.3.5 Spark運行模式 94
3.3.6 Spark的套用場景 95
【任務評估】 97
任務3.4 大數據計算架構 99
3.4.1 離線計算架構 99
3.4.2 實時計算架構 100
【任務評估】 103
項目總結 105
項目拓展訓練 105
項目評價 107
項目4 大數據採集 109
任務4.1 了解大數據採集 110
4.1.1 數據採集的概念 110
4.1.2 數據採集的數據源 111
【任務評估】 113
任務4.2 大數據採集的方法與工具 115
4.2.1 日誌採集系統 115
4.2.2 網路數據採集 116
4.2.3 資料庫採集 118
4.2.4 分散式訊息訂閱 118
【任務評估】 121
項目總結 123
項目拓展訓練 123
項目評價 125
項目5 大數據存儲 127
任務5.1 大數據存儲概述 128
5.1.1 大數據存儲的概念 128
5.1.2 大數據存儲的類型 129
5.1.3 大數據存儲的關鍵技術 131
【任務評估】 133
任務5.2 大數據存儲的方式 135
5.2.1 分散式存儲 135
5.2.2 數據倉庫 139
5.2.3 NoSQL資料庫 143
5.2.4 NewSQL資料庫 144
5.2.5 雲資料庫 145
【任務評估】 147
任務5.3 了解NoSQL資料庫工具 149
5.3.1 HBase 149
5.3.2 MongoDB 150
5.3.3 Redis 153
5.3.4 LevelDB 154
5.3.5 Neo4j 155
【任務評估】 157
任務5.4 大數據安全 159
5.4.1 大數據安全概述 159
5.4.2 大數據安全體系 160
5.4.3 大數據安全關鍵技術 161
5.4.4 大數據安全法律法規 161
【任務評估】 165
項目總結 167
項目拓展訓練 167
項目評價 169
項目6 大數據預處理 171
任務6.1 認識數據清洗 173
6.1.1 數據清洗的定義 173
6.1.2 數據清洗的原理 173
6.1.3 數據清洗的流程 174
6.1.4 數據清洗的方法 175
6.1.5 認識ETL 180
【任務評估】 183
任務6.2 數據清洗的常用工具 185
6.2.1 Excel 185
6.2.2 Kettle 186
6.2.3 DataCleaner 186
6.2.4 OpenRefine 187
6.2.5 Smartbi 187
【任務評估】 189
任務6.3 數據轉換 191
6.3.1 數據離散化 191
6.3.2 數據平滑 193
6.3.3 屬性構造 194
6.3.4 數據聚合 195
6.3.5 數據規範化 196
【任務評估】 199
任務6.4 數據標準 201
6.4.1 數據標準的概念 201
6.4.2 數據標準的分類 201
6.4.3 數據標準的管理 202
6.4.4 數據標準與數據資產的
關係 205
【任務評估】 207
任務6.5 數據質量與數據脫敏 209
6.5.1 數據質量的定義 209
6.5.2 數據質量的常見問題 210
6.5.3 數據脫敏 211
【任務評估】 213
項目總結 215
項目拓展訓練 215
項目評價 217
項目7 大數據分析與挖掘 219
任務7.1 大數據分析 220
7.1.1 大數據分析的概念 221
7.1.2 大數據分析的流程 222
7.1.3 大數據分析的方法 222
7.1.4 大數據分析工具庫 225
【任務評估】 229
任務7.2 數據挖掘 231
7.2.1 數據挖掘的概念 231
7.2.2 數據挖掘算法 234
7.2.3 大數據挖掘工具 235
【任務評估】 237
項目總結 239
項目拓展訓練 239
項目評價 241
項目8 大數據可視化 243
任務8.1 數據可視化基礎 244
8.1.1 數據可視化的概念 244
8.1.2 數據可視化的發展 244
8.1.3 數據可視化的優勢 246
8.1.4 數據可視化的方法 247
【任務評估】 249
任務8.2 數據可視化常用圖表 251
8.2.1 常用圖表介紹 251
8.2.2 圖表的選擇與套用 260
【任務評估】 261
任務8.3 大數據可視化常用工具 263
8.3.1 大數據可視化工具 263
8.3.2 大數據可視化開源庫 263
【任務評估】 265
項目總結 267
項目拓展訓練 267
項目評價 269
項目9 中國信創與大數據中台 271
任務9.1 什麼是信創 273
9.1.1 信創的概念 273
9.1.2 信創的發展歷程 274
【任務評估】 277
任務9.2 信創的現狀和發展前景 279
9.2.1 信創的現狀 279
9.2.2 信創的發展前景 282
【任務評估】 285
任務9.3 信創之大數據中台 287
9.3.1 產品概述 287
9.3.2 產品優勢 289
9.3.3 產品架構 291
9.3.4 產品適用場景 293
【任務評估】 297
項目總結 299
項目拓展訓練 299
項目評價 301
項目10 大數據套用綜合平台
典型案例 303
任務10.1 某市智慧城市建設項目
案例 304
10.1.1 項目背景 304
10.1.2 建設目標 305
10.1.3 技術架構 305
10.1.4 建設成效 306
【任務評估】 309
任務10.2 某市高新區城市駕駛艙平台
建設項目案例 311
10.2.1 項目背景 311
10.2.2 建設目標 311
10.2.3 技術架構 311
10.2.4 建設成效 312
【任務評估】 315
任務10.3 養老保險全國統籌數據平台
建設項目案例 317
10.3.1 項目背景 317
10.3.2 建設目標 317
10.3.3 技術架構 318
10.3.4 建設成效 319
【任務評估】 321
項目總結 323
項目拓展訓練 323
項目評價 325
參考文獻 327
