《大數據平台基礎架構指南》是2018年7月電子工業出版社出版的圖書，作者是劉旭暉。
基本介紹
- 中文名：大數據平台基礎架構指南
- 作者：劉旭暉
- 類別：科技類圖書
- 出版社：電子工業出版社
- 出版時間：2018年07月
- 頁數：248 頁
- 定價：69 元
- 開本：16 開
- ISBN：9787121342592
內容簡介,圖書目錄,
內容簡介
當前不乏大數據具體技術組件的書籍，但卻很少有從大數據平台整體建設和產品形態的巨觀角度入手來闡釋的。本書重點介紹大數據開發平台服務構建的整體思路和解決方案，內容涵蓋一個成熟的大數據開發平台必不可少的各類核心組件：工作流調度系統、集成開發環境、元數據管理系統、數據交換服務、數據可視化服務、數據質量管理服務，以及測試環境的建設等。書中還凝結了作者多年平台建設的實踐經驗，以及對大數據相關從業人員能力建設和職業規劃的寶貴建議。本書適合廣大志在深入了解大數據平台建設、開發和套用的在職人員及院校師生。
圖書目錄
第1章 大數據平台整體建設思想 1
1.1 什麼是大數據平台 1
1.2 大數據平台的建設目標 3
1.2.1 別人的大數據平台是怎樣的 3
1.2.2 和業內領先的大數據平台的差距 4
1.2.3 大數據平台建設目標小結 6
1.3 大數據平台的建設指導方針 6
1.3.1 組件工具化 7
1.3.2 工具平台化 8
1.3.3 平台服務化 9
1.3.4 平台產品化 10
1.3.5 對中小公司大數據平台的適用性 11
1.4 大數據平台的兩種建設路徑 12
1.4.1 垂直業務領域一站到底的建設方式 13
1.4.2 通用組件建設，組合支持業務的方式 13
1.4.3 從蘑菇街平台的實踐經驗對比兩種建設路徑 14
1.4.4 兩種建設路徑的對比小結 16
第2章 服務意識和產品思想的培養 17
2.1 明確大數據平台服務能力的評估標準 17
2.1.1 大數據平台團隊的職能定位 18
2.1.2 打通上下游系統和業務流程的能力 18
2.2 滿足用戶真正的需求 19
2.3 認清服務的代價，做好心理建設 20
2.4 尋找解決服務代價問題的方案 23
2.4.1 路線選擇帶來的代價問題 23
2.4.2 如何降低服務自身的代價 25
2.5 大數據平台的產品化思想 29
2.5.1 從用戶體驗的角度談產品設計 31
2.5.2 從價值和利益的角度談產品思維 36
2.6 小結 38
第3章 工作流（作業）調度系統 39
3.1 作業調度系統基礎理論 40
3.1.1 調度系統分類 40
3.1.2 工作流調度系統的兩種心法流派 45
3.1.3 工作流調度系統功能特性詳解 49
3.2 Jarvis調度系統產品開發實踐 55
3.2.1 需求定位分析 55
3.2.2 具體功能目標的詳細分析和實踐 57
3.2.3 第二代Jarvis現狀和將來 75
3.3 小結 79
第4章 集成開發環境門戶建設 81
4.1 集成開發環境的功能定位 82
4.1.1 集成開發環境的整體服務思路 83
4.1.2 集成開發環境的具體產品建設目標 86
4.1.3 小結 93
4.2 開發平台測試環境建設 94
4.2.1 問題背景 94
4.2.2 系統功能性測試環境 95
4.2.3 數據業務類測試環境 96
4.2.4 小結 100
第5章 數據採集、傳輸、交換、同步服務 101
5.1 數據交換服務場景和常見開源方案 102
5.1.1 大數據平台數據交換服務業務場景 102
5.1.2 常見數據交換服務解決方案介紹 103
5.2 數據交換服務具體產品實踐 110
5.2.1 數據交換服務底層組件 110
5.2.2 數據交換服務管控平台 113
5.2.3 蘑菇街數據交換服務的實踐現狀和未來改進計畫 118
5.3 用戶行為鏈路分析之日誌埋點採集跟蹤方案實踐 120
5.3.1 記日誌有什麼難的 120
5.3.2 蘑菇街的用戶行為日誌採集方案實踐 122
5.3.3 小結 129
第6章 數據可視化平台 130
6.1 什麼是數據可視化平台 130
6.1.1 數據可視化平台名詞定義 131
6.1.2 已經有了那么多商業BI系統，為什麼還要造輪子 132
6.2 數據可視化平台產品實踐 134
6.2.1 可視化平台產品定位和需求分析 135
6.2.2 具體產品功能需求實踐詳解 136
6.2.3 將來的改進目標 146
6.2.4 產品實踐小結 148
第7章 安全與許可權管控 149
7.1 許可權管理的目標是什麼 149
7.1.1 適度安全，降低人為風險 150
7.1.2 隔離環境，提高工作效率 151
7.1.3 權責明晰，規範業務流程 152
7.1.4 許可權管理目標小結 153
7.2 如何解決安全和便利的矛盾 153
7.2.1 安全和便利天生矛盾 153
7.2.2 改變角度，轉移目標 154
7.2.3 把握尺度 155
7.2.4 可能的變通措施 157
7.2.5 思想小結 163
7.3 許可權管控系統產品方案和技術分析 163
7.3.1 常見開源方案 164
7.3.2 Kerberos 165
7.3.3 Sentry和Ranger 168
7.3.4 Knox 169
7.3.5 開源項目中常見的許可權模型概念 169
7.4 基於開發平台服務入口的許可權管控方案 171
7.4.1 許可權管控方案實踐 171
7.4.2 底層統一許可權管控和平台邊界許可權管控方案對比 173
第8章 數據質量管理 175
8.1 元數據管理平台 176
8.1.1 元數據管理平台管理什麼 176
8.1.2 元數據管理相關係統方案介紹 180
8.1.3 元數據管理系統工程實踐 183
8.2 DQC數據質量中心 185
8.2.1 DQC數據質量中心業界方案 186
8.2.2 DQC數據質量系統建設實踐 188
8.3 數據質量管理小結 193
第9章 大數據集群遷移經驗談 195
9.1 集群遷移都要面對哪些麻煩事 196
9.1.1 集群和機房外部環境問題 196
9.1.2 平台自身組件和服務依賴問題 196
9.1.3 業務模式和溝通配合問題 197
9.1.4 業務邏輯和數據正確性問題 198
9.2 集群搬遷方案的總體目標、原則、流程 199
9.3 一些具體問題的分析和實踐 201
9.3.1 如何保證正確性 201
9.3.2 集群數據同步拷貝方案 205
9.3.3 各種無法雙跑的業務場景梳理 207
9.4 小結 208
第10章 談談大數據碼農的職業發展問題 210
10.1 如何成為一名糟糕的大數據平台工程師 211
10.1.1 我是小白我怕誰 211
10.1.2 敏而好學，不恥下問 212
10.1.3 效率優先，中文至上 213
10.1.4 流行的就是最好的 213
10.1.5 我們的征途，是星辰大海 215
10.1.6 書中自有顏如玉，熱衷閱讀代碼 216
10.1.7 謎之問題的謎之解決方式 218
10.1.8 勤奮好學，但是回頭即忘 220
10.1.9 小結 221
10.2 職業選擇和我們早晚要面對的中年危機問題 222
10.2.1 中年危機，要從娃娃抓起 222
10.2.2 中年危機之抗焦慮指南 223
10.2.3 如何才能獲得自由 225
10.2.4 案例 230
10.2.5 小結 233
