基本介紹
- 中文名：雲原生數據中台：架構、方法論與實踐
- 作者：彭 鋒、宋文欣、孫浩峰
- 類別：科技
- 出版社：機械工業出版社
- 出版時間：2021年5月
- 頁數：374 頁
- 定價：99 元
- 開本：32 開
- 裝幀：精裝
- ISBN：9787111678465
內容簡介,圖書目錄,
內容簡介
本書的作者曾在矽谷的Twitter等企業從事大數據平台的建設工作多年，隨後又成功創辦了國內領先的以雲原生數據中台為核心技術和產品的企業。他們將在矽谷的大數據平台建設經驗與在國內的數據中台建設經驗進行深度融合，並系統闡述了雲原生架構對數據中台的必要性及其相關實踐，對國內企業的中台建舉蜜棵付設和運營具有很高的參考價值。
圖書目錄
前言
第一部分 數據中台與矽谷大數據平台
第1章 全面了解數據中台
1.1 數據中台概念的起源 3
1.1.1 藝電的“數據中台”改造 4
1.1.2 Twitter的數堡笑據驅動 6
1.2 什麼是數據中台 8
1.2.1 數據中台建設的目標 8
1.2.2 如何實現數據中台建設的目標 11
1.2.3 數據中台的定義和4個特點 13
1.3 大數據平台與數據中台 16
1.3.1 為什麼要建設數據中台 16
1.3.2 數據中台與傳統大數據平台的區別 20
1.3.3 數據中台的評判標準 24
1.4 數據中台建設方法論總綱 24
1.5 本章小結 27
第2章 數據中台能力和套用場景
2.1 數據中台不是“銀彈” 28
2.2 數據中台的核心能力 31
2.2.1 全局永員厚商業洞見 31
2.2.2 個性化服務 34
2.2.3 實時數據報表 38
2.2.4 共享能力開發新業務 39
2.3 數據中台的行業套用場拳剃邀景 41
2.3.1 網際網路行業 41
2.3.2 連鎖零售業 42
2.3.3 金融業 43
2.3.4 物聯網 44
2.4 數據中台如何為企業賦能 45
2.4.1 組織只檔員架構 46
2.4.2 決策部門 48
2.4.3 業務部門 51
2.4.4 研發部門 53
2.4.5 大數據部門 55
2.5 本章小結 56
第3章 數據中台與數位化轉型
3.1 數位化轉型的4個階段 58
3.1.1 信息化 58
3.1.2 數據倉庫（數據平台1.0） 59
3.1.3 大數據平台（數據平台2.0） 61
3.1.4 數據中台（數據平台3.0） 63
3.2 數據驅動 64
3.2.1 面向用戶的數據驅動產品及服務 66
3.2.2 面向內部業務部門的數據驅動服務 68
3.2.3 數據驅動的系統管理 71
3.3 數據中台如何支持數位化轉型 72
3.3.1 從技術層面支持數位化轉型 73
3.3.2 從組織架構層面支殼鴉頁持數位化轉型 74
3.4 本章小結 75
第4章 從大數據平台到數據中台
4.1 大數據平台建設階段 76
4.1.1 大數據平台起步 77
4.1.2 系統自動化 77
4.1.3 大數據平台的生產化 78
4.2 數據管理及套用階段 80
4.2.1 數據湖/數據倉跨喇匪喇庫建設 80
4.2.2 數據管理 81
4.2.3 數據安全 82
4.3 數據能力中台化階段 84
4.3.1 全局的數據治理 85
4.3.2 數據能力的復用和共享 85
4.3.3 雲原生架構的支撐 85
4.4 DataOps 87
4.4.1 什麼是DataOps 87
4.4.2 DataOps解決的問題 88
4.4.3 DataOps的目標功能 90
4.4.4 DataOps的主要技術 91
4.4.5 DataOps與數據中台 92
4.5 本章小結 93
第二部分 數據中台架構與方法論
第5章 數據中台建設須知
5.1 數據中台建設需要一套方法論 96
5.2 從失敗的大數據項目中吸取教訓 98
5.3 數據中台建設中的常見問題 99
5.4 評判數據中台建設效果 101
5.5 數據中台建設的人員規劃 103
5.6 數據中台的技術選型要求 106
5.7 本章小結 107
第6章 數據中台建設方法論
6.1 基礎架構 109
6.2 數據工具 114
6.3 頂層架構設計 115
6.4 數據規範 116
6.5 業務驅動 118
6.6 關鍵指標 120
6.7 明確責權利 125
6.8 管理疊代 127
6.9 數據中台建設流程 128
6.10 本章小結 130
第7章 數據中台的架構
7.1 數據中台的功能定位 132
7.2 數據中台架構設計的9大原則 135
7.3 典型的矽谷大數據平台架構 137
7.3.1 Twitter的大數據平台架構 137
7.3.2 Airbnb的大數據平台架構 140
7.3.3 Uber的大數據平台架構 141
7.3.4 雲平台作為大數據平台的通用底座 143
7.3.5 矽谷大數據平台架構的共性和建設思路 145
7.4 數據中台架構 147
7.5 數據中台子系統 150
7.5.1 套用基礎能力平台 151
7.5.2 數據基礎能力平台 152
7.5.3 數據集成開發平台 154
7.5.4 數據資產運營平台 156
7.5.5 數據業務能力層 158
7.5.6 數據中台重點建設內容 159
7.6 本章小結 160
第8章 數據中台與雲原生架構
8.1 雲原生架構及雲平台 161
8.2 PaaS平台的主要功能 165
8.2.1 資源管理 167
8.2.2 套用全生命周期管理 169
8.2.3 高可用和容錯 170
8.2.4 運維平台 172
8.3 傳統方式下搭建數據中台的難點 173
8.4 雲原生架構對於數據中台建設的5大意義 175
8.5 數據中台的IaaS層選擇 178
8.6 本章小結 180
第三部分 數據中台技術選型與核心內容
第9章 數據中台建設與開源軟體
9.1 開源軟體的起源和建設過程 185
9.2 開源軟體的合理使用 189
9.3 集成開源軟體的5個注意事項 192
9.4 套用基礎能力平台的開源選擇 193
9.5 數據基礎能力平台的開源選擇 196
9.6 數據集成開發平台的開源選擇 203
9.7 本章小結 205
第10章 數據湖與數據倉庫
10.1 數據湖 207
10.1.1 數據湖的起源與作用 208
10.1.2 數據湖建設的4個目標 211
10.1.3 數據湖數據的採集和存儲 212
10.1.4 數據湖中的數據治理 216
10.2 數據倉庫 218
10.2.1 數據建模方式 219
10.2.2 數據倉庫建設的層次 221
10.2.3 數據倉庫中的數據治理 225
10.2.4 數據清洗 229
10.3 數據中台中的數據倉庫和數據湖建設 231
10.4 本章小結 233
第11章 數據資產管理
11.1 數據資產管理的難題 235
11.2 數據資產管理定義 238
11.3 主數據管理 239
11.4 元數據管理 242
11.4.1 元數據的分類 243
11.4.2 元數據管理系統的功能 245
11.5 開源的元數據管理系統 247
11.6 數據資產的ROI 249
11.7 本章小結 250
第12章 數據流水線管理
12.1 數據流水線的定義與模型 251
12.2 數據流水線中的套用類別 254
12.3 數據流水線的運行方式 256
12.4 數據流水線示例 257
12.5 數據流水線管理系統面臨的挑戰 259
12.6 數據流水線管理系統的功能需求 262
12.6.1 自動化流水線 262
12.6.2 數據管理 263
12.6.3 性能要求 264
12.7 數據流水線管理系統的組件 265
12.8 批流合一的數據流水線 266
12.9 本章小結 269
第13章 數據中台套用開發
13.1 數據套用的形態 270
13.2 套用開發工具 277
13.3 3種典型的數據中台套用 279
13.3.1 數據即服務 279
13.3.2 模型即服務 281
13.3.3 用戶標籤系統 282
13.4 數據中台套用的開發和管理 283
13.4.1 套用調度系統 284
13.4.2 多租戶管理 285
13.4.3 持續集成和發布 286
13.5 本章小結 287
第14章 數據門戶
14.1 數據門戶出現的背景 288
14.2 矽谷的數據門戶建設 289
14.2.1 Twitter的DAL和EagleEye 290
14.2.2 LinkedIn的Data Hub 292
14.2.3 Airbnb的Data Portal 293
14.2.4 Lyft的Amundsen 294
14.2.5 Netflix的Metacat 296
14.2.6 Intuit的SuperGlue 297
14.2.7 矽谷數據門戶總結 298
14.3 數據門戶的定位及功能 299
14.4 數據門戶的實現原理 301
14.5 數據門戶的社交屬性 303
14.6 數據套用的自助及協同工作 304
14.7 數據智慧型運維 306
14.8 本章小結 308
第15章 管理數據中台的演進
15.1 不斷演進的數據中台 310
15.2 人員變動下的數據管理 310
15.2.1 數據安全 311
15.2.2 數據能力的傳遞 312
15.3 數據和套用的演進 314
15.4 資源的演進 316
15.5 演進中的關鍵指標 318
15.6 本章小結 321
第四部分 數據中台案例分析
第16章 EA“數據中台”實踐
16.1 建設背景 324
16.2 組織架構調整 327
16.3 建設過程 328
16.4 體系架構 333
16.5 數據治理 336
16.5.1 數據標準和規範 336
16.5.2 元數據管理 338
16.5.3 數據質量管理 339
16.6 數據套用產品 340
16.6.1 推薦系統 340
16.6.2 打造動態遊戲體驗 341
16.6.3 標籤系統及遊戲運營 343
16.7 EA“數據中台”功能總結 344
16.8 本章小結 345
第17章 零售行業的數據中台
17.1 零售行業的數位化轉型 346
17.2 零售行業數據中台解決方案 347
17.3 零售行業數據中台的建設 349
17.3.1 數據匯聚 350
17.3.2 業務調研 352
17.3.3 數據倉庫建設及數據分析 354
17.3.4 業務系統的能力反饋 356
17.4 零售行業數據中台的套用場景 357
17.4.1 用戶標籤體系 357
17.4.2 精準市場行銷 359
17.5 本章小結 361
第18章 物聯網領域數據中台建設
18.1 現代物聯網的產業鏈 362
18.2 物聯網與ABC 365
18.3 物聯網數據中台架構 366
18.4 智慧建築物聯網數據中台套用 371
18.5 本章小結 374
3.3.2 從組織架構層面支持數位化轉型 74
3.4 本章小結 75
第4章 從大數據平台到數據中台
4.1 大數據平台建設階段 76
4.1.1 大數據平台起步 77
4.1.2 系統自動化 77
4.1.3 大數據平台的生產化 78
4.2 數據管理及套用階段 80
4.2.1 數據湖/數據倉庫建設 80
4.2.2 數據管理 81
4.2.3 數據安全 82
4.3 數據能力中台化階段 84
4.3.1 全局的數據治理 85
4.3.2 數據能力的復用和共享 85
4.3.3 雲原生架構的支撐 85
4.4 DataOps 87
4.4.1 什麼是DataOps 87
4.4.2 DataOps解決的問題 88
4.4.3 DataOps的目標功能 90
4.4.4 DataOps的主要技術 91
4.4.5 DataOps與數據中台 92
4.5 本章小結 93
第二部分 數據中台架構與方法論
第5章 數據中台建設須知
5.1 數據中台建設需要一套方法論 96
5.2 從失敗的大數據項目中吸取教訓 98
5.3 數據中台建設中的常見問題 99
5.4 評判數據中台建設效果 101
5.5 數據中台建設的人員規劃 103
5.6 數據中台的技術選型要求 106
5.7 本章小結 107
第6章 數據中台建設方法論
6.1 基礎架構 109
6.2 數據工具 114
6.3 頂層架構設計 115
6.4 數據規範 116
6.5 業務驅動 118
6.6 關鍵指標 120
6.7 明確責權利 125
6.8 管理疊代 127
6.9 數據中台建設流程 128
6.10 本章小結 130
第7章 數據中台的架構
7.1 數據中台的功能定位 132
7.2 數據中台架構設計的9大原則 135
7.3 典型的矽谷大數據平台架構 137
7.3.1 Twitter的大數據平台架構 137
7.3.2 Airbnb的大數據平台架構 140
7.3.3 Uber的大數據平台架構 141
7.3.4 雲平台作為大數據平台的通用底座 143
7.3.5 矽谷大數據平台架構的共性和建設思路 145
7.4 數據中台架構 147
7.5 數據中台子系統 150
7.5.1 套用基礎能力平台 151
7.5.2 數據基礎能力平台 152
7.5.3 數據集成開發平台 154
7.5.4 數據資產運營平台 156
7.5.5 數據業務能力層 158
7.5.6 數據中台重點建設內容 159
7.6 本章小結 160
第8章 數據中台與雲原生架構
8.1 雲原生架構及雲平台 161
8.2 PaaS平台的主要功能 165
8.2.1 資源管理 167
8.2.2 套用全生命周期管理 169
8.2.3 高可用和容錯 170
8.2.4 運維平台 172
8.3 傳統方式下搭建數據中台的難點 173
8.4 雲原生架構對於數據中台建設的5大意義 175
8.5 數據中台的IaaS層選擇 178
8.6 本章小結 180
第三部分 數據中台技術選型與核心內容
第9章 數據中台建設與開源軟體
9.1 開源軟體的起源和建設過程 185
9.2 開源軟體的合理使用 189
9.3 集成開源軟體的5個注意事項 192
9.4 套用基礎能力平台的開源選擇 193
9.5 數據基礎能力平台的開源選擇 196
9.6 數據集成開發平台的開源選擇 203
9.7 本章小結 205
第10章 數據湖與數據倉庫
10.1 數據湖 207
10.1.1 數據湖的起源與作用 208
10.1.2 數據湖建設的4個目標 211
10.1.3 數據湖數據的採集和存儲 212
10.1.4 數據湖中的數據治理 216
10.2 數據倉庫 218
10.2.1 數據建模方式 219
10.2.2 數據倉庫建設的層次 221
10.2.3 數據倉庫中的數據治理 225
10.2.4 數據清洗 229
10.3 數據中台中的數據倉庫和數據湖建設 231
10.4 本章小結 233
第11章 數據資產管理
11.1 數據資產管理的難題 235
11.2 數據資產管理定義 238
11.3 主數據管理 239
11.4 元數據管理 242
11.4.1 元數據的分類 243
11.4.2 元數據管理系統的功能 245
11.5 開源的元數據管理系統 247
11.6 數據資產的ROI 249
11.7 本章小結 250
第12章 數據流水線管理
12.1 數據流水線的定義與模型 251
12.2 數據流水線中的套用類別 254
12.3 數據流水線的運行方式 256
12.4 數據流水線示例 257
12.5 數據流水線管理系統面臨的挑戰 259
12.6 數據流水線管理系統的功能需求 262
12.6.1 自動化流水線 262
12.6.2 數據管理 263
12.6.3 性能要求 264
12.7 數據流水線管理系統的組件 265
12.8 批流合一的數據流水線 266
12.9 本章小結 269
第13章 數據中台套用開發
13.1 數據套用的形態 270
13.2 套用開發工具 277
13.3 3種典型的數據中台套用 279
13.3.1 數據即服務 279
13.3.2 模型即服務 281
13.3.3 用戶標籤系統 282
13.4 數據中台套用的開發和管理 283
13.4.1 套用調度系統 284
13.4.2 多租戶管理 285
13.4.3 持續集成和發布 286
13.5 本章小結 287
第14章 數據門戶
14.1 數據門戶出現的背景 288
14.2 矽谷的數據門戶建設 289
14.2.1 Twitter的DAL和EagleEye 290
14.2.2 LinkedIn的Data Hub 292
14.2.3 Airbnb的Data Portal 293
14.2.4 Lyft的Amundsen 294
14.2.5 Netflix的Metacat 296
14.2.6 Intuit的SuperGlue 297
14.2.7 矽谷數據門戶總結 298
14.3 數據門戶的定位及功能 299
14.4 數據門戶的實現原理 301
14.5 數據門戶的社交屬性 303
14.6 數據套用的自助及協同工作 304
14.7 數據智慧型運維 306
14.8 本章小結 308
第15章 管理數據中台的演進
15.1 不斷演進的數據中台 310
15.2 人員變動下的數據管理 310
15.2.1 數據安全 311
15.2.2 數據能力的傳遞 312
15.3 數據和套用的演進 314
15.4 資源的演進 316
15.5 演進中的關鍵指標 318
15.6 本章小結 321
第四部分 數據中台案例分析
第16章 EA“數據中台”實踐
16.1 建設背景 324
16.2 組織架構調整 327
16.3 建設過程 328
16.4 體系架構 333
16.5 數據治理 336
16.5.1 數據標準和規範 336
16.5.2 元數據管理 338
16.5.3 數據質量管理 339
16.6 數據套用產品 340
16.6.1 推薦系統 340
16.6.2 打造動態遊戲體驗 341
16.6.3 標籤系統及遊戲運營 343
16.7 EA“數據中台”功能總結 344
16.8 本章小結 345
第17章 零售行業的數據中台
17.1 零售行業的數位化轉型 346
17.2 零售行業數據中台解決方案 347
17.3 零售行業數據中台的建設 349
17.3.1 數據匯聚 350
17.3.2 業務調研 352
17.3.3 數據倉庫建設及數據分析 354
17.3.4 業務系統的能力反饋 356
17.4 零售行業數據中台的套用場景 357
17.4.1 用戶標籤體系 357
17.4.2 精準市場行銷 359
17.5 本章小結 361
第18章 物聯網領域數據中台建設
18.1 現代物聯網的產業鏈 362
18.2 物聯網與ABC 365
18.3 物聯網數據中台架構 366
18.4 智慧建築物聯網數據中台套用 371
18.5 本章小結 374
