基本介紹
- 中文名：走近大數據
- 作者：中國通信企業協會、段雲峰、張韜
- 出版時間：2019年9月
- 出版社：人民郵電出版社
- 頁數：245 頁
- ISBN：9787115492814
- 定價：78 元
- 開本：小16開
- 裝幀：平裝
內容簡介,圖書目錄,
內容簡介
本書首先介紹了大數據的一些基本概念，闡述了大數據發展的歷史必然性；然後圍繞大數據生態的各個技術和組件進行了基本的介紹；接著介紹了建設大數據系統要考慮的一些關鍵內容；最後以附錄的形式給出了一些企業建設大數據系統的案例。
圖書目錄
第 1章 大數據，心中有數 1
1.1 從一場親子講座談起 2
1.2 數據非今日變大，為什麼今天火了 3
1.3 大數據帶來的改變漸漸發生了 6
1.4 大數據，首先是數據 8
1.5 再議數據規模 10
1.6 大數據概念正解 11
1.6.1 大數據等於數據大嗎 11
1.6.2 大數據＞數據大 11
1.6.3 大數據內涵——4V屬性 12
1.6.4 大數據原理模擬 12
1.7 再談大數據帶來的真正改變 14
第 2章 大數據，順勢而為 15
2.1 大數據發展基礎 16
2.1.1 大數據商用的前提 16
2.1.2 大數據發展引擎——雲計算 16
2.1.3 大數據發展的ABCT模式 23
2.2 大數據兩個關鍵變化 25
2.3 大數據獲取與管理 25
2.3.1 大數據獲取 25
2.3.2 大數據管理 26
2.4 大數據存儲 27
2.5 大數據分析 28
2.6 大數據創新套用 29
2.7 大數據安全 31
2.8 大數據發展對我們的要求 31
第3章 準備好了嗎？——大數據技術及套用 33
3.1 大數據的基石——Hadoop技術和套用 35
3.1.1 源自一位爸爸的愛——Hadoop介紹 35
3.1.2 海量、非結構化數據的存儲寶典——Hadoop套用場景 36
3.1.3 “打仗親兄弟，上陣父子兵”（拼的是團隊！）——Hadoop
生態系統 41
3.1.4 如何擺布呢？——Hadoop實施建議 45
3.1.5 Hadoop的“七寸”——技術關鍵點 53
3.2 近期發展勢頭最猛的技術——Spark的套用 57
3.2.1 “星星之火，可以燎原”——Spark簡介 57
3.2.2 “速度決定一切”——Spark套用場景 58
3.2.3 “另立門戶”的節奏——Spark生態系統 60
3.2.4 “火花”的關鍵點——Spark實施建議 63
3.2.5 “照單抓藥”即可——Spark參數配置 69
3.3 “中檔價格買中檔車的配置”——MPP資料庫的套用 72
3.3.1 “不共享”的並行處理架構——MPP資料庫簡介 72
3.3.2 完全支持SQL--MPP資料庫套用場景 72
3.3.3 “這樣的配置來兩打”——MPP資料庫實施建議 74
3.3.4 “對面的女孩看過來”——技術關注點 78
3.4 “速度決定一切！”——流處理技術的套用 80
3.4.1 “流水不腐”——流處理技術簡介 80
3.4.2 “最快的奔跑”——流處理技術套用場景 81
3.4.3 看看誰跑得快？——流處理技術典型產品 82
3.4.4 短跑運動員的配置清單——流處理技術實施建議 83
3.5 NoSQL技術的套用 87
3.5.1 NoSQL技術簡介 88
3.5.2 “大數據量查詢”——適用場景 88
3.5.3 “都有誰？”——典型產品 89
3.5.4 如何租給更多人？——多租戶實現方式 92
3.6 在記憶體里跑資料庫——記憶體資料庫的套用 93
3.6.1 傳統資料庫的“土豪”配置——記憶體資料庫簡介 93
3.6.2 提速的奢華方式——適用場景 94
3.6.3 哪些是“土豪”的必備——典型產品 95
3.6.4 “土豪”要關注什麼？——技術關注點 96
3.7 如何採集更多的數據——數據採集 97
3.7.1 “沒有數據就是無米之炊”——數據採集簡介 97
3.7.2 不同的採集方式——適用場景 98
3.7.3 各種工具——技術簡介 98
3.8 資料庫如何分布？——分散式關係型資料庫的套用 106
3.8.1 “分布+傳統資料庫”——分散式關係型資料庫簡介 106
3.8.2 資料庫的延伸——適用場景 106
3.8.3 支持SQL的分散式資料庫——典型產品 107
3.8.4 技術關注點 109
3.9 網際網路的“殺手級套用”——搜尋引擎 109
3.9.1 搜尋引擎簡介 109
3.9.2 搜尋什麼？——適用場景 110
3.9.3 產品簡介 110
3.9.4 技術關注點 111
3.10 資源隔離的利器——容器的套用 111
3.10.1 獨立的貨櫃——容器簡介 112
3.10.2 容器與虛擬機的區別 113
3.10.3 貨櫃能用在哪裡？——容器套用場景 114
3.10.4 如何部署？——Docker實施建議 115
第4章 大數據如何顯示分析結果？——數據分析與數據可視化 119
4.1 收集大數據就是為了分析——數據分析 120
4.1.1 分析方法有哪些？——數據分析簡介 120
4.1.2 數據分析的過程——適用場景 123
4.1.3 分析工具有哪些？——典型產品 123
4.1.4 什麼最火？——深度學習典型產品 125
4.2 大數據也要學習“包裝”技術——數據可視化 129
4.2.1 如何讓數據更美觀？——數據可視化簡介 129
4.2.2 什麼時候數據需要美化？——適用場景 130
4.2.3 美化數據結果的工具——典型產品 130
第5章 如何構建開放的大數據平台？——大數據開放平台構建 133
5.1 為什麼要開放？——概述 134
5.1.1 開放是趨勢——大數據開放平台的意義 134
5.1.2 誰在使用開放平台？——大數據開放平台主要角色 135
5.1.3 開放哪些內容？——大數據開放平台開放的內容與範圍 135
5.2 看看別人家的平台——大數據開放平台參考架構 137
5.3 開放哪些內容？——基礎能力的開放 138
5.3.1 自己採集所需——數據採集能力開放 138
5.3.2 自己存儲數據——數據存儲能力開放 140
5.3.3 自己決定處理方式——數據處理能力開放 142
5.3.4 自己決定展現形式——展現能力開放 144
5.4 把管理權力也開放出去——數據管理能力的開放 145
5.4.1 自己設計作業任務——任務調度能力開放 145
5.4.2 自己編排數據字典——元數據管理能力開放 148
5.4.3 自己管理自己的數據質量——數據質量管理能力開放 149
5.4.4 自己承擔安全員——數據安全管理能力開放 149
5.4.5 能提供哪些服務？——服務能力開放 150
5.5 如何管理系統？——平台管理 151
5.5.1 系統有什麼料？——資源管理 152
5.5.2 如何調度作業？——負載管理 152
5.5.3 資源如何分配——配額管理 153
5.5.4 能否計費？——計量管理 153
5.6 “眾人拾柴火焰高”——開發者門戶 154
5.6.1 “你是誰？”——註冊認證 154
5.6.2 “來個廚房”——資源申請 155
5.6.3 “再來二斤牛肉、一壺好酒”——數據申請 156
5.6.4 “吃飽喝足”——開發上線 157
第6章 安全無小事——大數據安全 159
6.1 安全很重要——大數據安全概述 160
6.2 非法入侵——數據訪問安全 161
6.2.1 你有許可權嗎？——用戶認證 161
6.2.2 誰可以訪問？——用戶管理 164
6.2.3 我授權給你——用戶授權 166
6.3 數據加密？——數據服務安全 169
6.3.1 禁止隱私內容——數據脫敏 169
6.3.2 追查泄露者——數字水印 170
6.3.3 有口令嗎？——安全令牌管理 171
6.3.4 全程防護——服務攻擊檢測 171
6.4 數據存在保險箱就安全嗎？——數據存儲安全 173
6.4.1 看不懂的天書——加密 173
6.4.2 不能接觸——數據隔離 174
第7章 建設之後，運維工作更重要——大數據運維管理平台 177
7.1 如何構建運維環境——大數據運維管理平台簡介 178
7.2 功能點有哪些——大數據運維管理平台功能介紹 178
7.2.1 用戶管理 179
7.2.2 節點管理 179
7.2.3 組件管理 180
7.2.4 監控與告警管理 181
7.2.5 日誌管理 181
7.3 運維產品有哪些——典型產品 182
7.3.1 產品列表 182
7.3.2 Ambari產品介紹 183
7.3.3 實施建議 184
第8章 數據質量管理 185
8.1 數據質量信息存儲 186
8.2 數據質量監控平台 186
8.2.1 採集管理 187
8.2.2 規則管理 188
8.2.3 告警管理 193
8.2.4 申告處理 195
8.2.5 知識總結 196
8.2.6 質量報告 197
8.2.7 任務調度 197
8.3 數據質量套用功能 198
附錄A 某公司大數據系統建設案例 201
附錄B SH公司大數據PaaS平台實施經驗 215
附錄C FJ公司關於大數據高速路況實時監測項目實施經驗 221
附錄D 其他公司大數據案例 229
附錄E D-Docker技術原理 241
