《大數據實踐之路：數據中台+數據分析+產品套用》是2021年電子工業出版社出版的圖書，作者是林澤豐 等。
基本介紹
- 中文名： 大數據實踐之路：數據中台+數據分析+產品套用
- 作者：林澤豐 等
- 出版社： 電子工業出版社
- 出版時間：2021年
- 頁數：248 頁
- 定價：69 元
- 開本：16 開
- ISBN： 9787121416651
內容簡介,圖書目錄,
內容簡介
本書共13 章，匯集了7 位作者（來自各大網際網路企業）的知識總結和經驗分享。本書藉助老湯姆、小風、阿北、小諾在某電商企業數據部門工作的故事，通過大量案例深入淺出地介紹了數據中台建設與套用之路。本書以Why-What-How 的思路展開，從0 到1 介紹知識點，並重點講述How 的過程，同時結合某個場景下的具體案例，以使讀者更好地理解實操過程。每個企業都會面臨各種各樣的數據問題，有數據質量的問題、數據獲取效率的問題、數據套用價值的問題等。本書首先介紹數據中台的建設，確保數據的質量，為企業的數據質量體系建設提供堅實的基礎；然後，進行偏向深入業務的分析探索，介紹如何從數據分析角度更好地賦能業務發展；最後，介紹數據套用，解決數據獲取效率的問題，並把一些分析思路和業務策略沉澱為數據產品，從而更好地將數據套用於業務。本書結合各大網際網路企業的實際項目案例，讓讀者真正掌握數據產品經理這個新興職業的必備技能和核心能力。
圖書目錄
第1 章 那些困擾我們的數據問題 ??????????????????????????????????????????????????????????1
1.1 數據質量的問題 ....................................................................................... 1
1.2 數據獲取效率的問題 ............................................................................... 5
1.3 數據套用價值的問題 ............................................................................... 8
數據中台篇
第2 章 元數據中心 ?????????????????????????????????????????????????????????????????????????? 15
2.1 元數據中心概述 ..................................................................................... 16
2.2 元數據中心的核心功能 ......................................................................... 17
2.2.1 數據整合 ..................................................................................... 17
2.2.2 數據管理 ..................................................................................... 19
2.2.3 數據地圖 ..................................................................................... 25
第3 章 數據指標中心 ??????????????????????????????????????????????????????????????????????? 29
3.1 數據指標中心概述 ................................................................................. 30
3.2 數據指標中心的設計思路 ..................................................................... 30
3.2.1 定義指標並將其歸集到對應的主題域 ....................................... 30
3.2.2 拆分原子指標與派生指標 .......................................................... 31
3.2.3 定義原子指標與派生指標的生產邏輯 ....................................... 32
3.2.4 通過指標管理平台對指標進行規範生產 ................................... 33
第4 章 數倉模型中心 ??????????????????????????????????????????????????????????????????????? 37
4.1 數倉模型中心概述 ................................................................................. 38
4.2 數倉模型中心的設計思路 ..................................................................... 39
4.2.1 控制數據源 ................................................................................. 39
4.2.2 劃分主題域 ................................................................................. 39
4.2.3 構建一致性維度 ......................................................................... 41
4.2.4 構建匯流排矩陣 ............................................................................. 42
4.2.5 數倉分層建設 ............................................................................. 42
4.2.6 數倉效果評估 ............................................................................. 43
第5 章 數據資產中心 ??????????????????????????????????????????????????????????????????????? 47
5.1 數據資產中心概述 ................................................................................. 48
5.2 數據資產中心的治理流程 ..................................................................... 49
5.2.1 數據資產定級 ............................................................................. 49
5.2.2 數據資產質量治理 ..................................................................... 52
5.2.3 數據資產成本治理 ..................................................................... 56
第6 章 數據服務中心 ??????????????????????????????????????????????????????????????????????? 61
6.1 數據服務中心概述 ................................................................................. 62
6.2 數據服務中心的設計思路 ..................................................................... 62
6.2.1 將數據寫入查詢庫 ..................................................................... 62
6.2.2 搭建元數據模型 ......................................................................... 63
6.2.3 按主題歸類 ................................................................................. 65
6.2.4 快取最佳化 ..................................................................................... 65
6.2.5 數據接口化 ................................................................................. 67
6.2.6 構建API 集市 ............................................................................. 68
6.2.7 統一數據服務 ............................................................................. 68
數據分析篇
第7 章 數據分析理論 ??????????????????????????????????????????????????????????????????????? 73
7.1 業務和數據 ............................................................................................ 73
7.1.1 業務和數據的閉環 ..................................................................... 74
7.1.2 不同崗位的職責邊界與合作 ...................................................... 75
7.1.3 數據、信息和知識 ..................................................................... 75
7.1.4 業務策略的閉環 ......................................................................... 77
7.1.5 人人都會數據分析的趨勢 .......................................................... 78
7.2 數據分析師的全貌 ................................................................................. 79
7.2.1 數據分析的定義與流程 .............................................................. 79
7.2.2 數據分析的3 種場景 .................................................................. 82
7.2.3 數據分析師的核心能力 .............................................................. 84
7.2.4 數據分析師的職業素養 .............................................................. 85
7.2.5 數據分析師的工作內容 .............................................................. 86
7.2.6 數據分析師的考核 ..................................................................... 86
7.3 數據分析團隊的組織架構及其對應的工作模式 ................................... 88
7.3.1 數據分析團隊的組織架構 .......................................................... 88
7.3.2 不同組織架構的工作模式 .......................................................... 89
7.4 數據分析師的工作方式 ......................................................................... 90
7.4.1 工作象限圖 ................................................................................. 91
7.4.2 1+N 的工作內容 ......................................................................... 91
7.4.3 與業務方的合作模式 .................................................................. 92
7.4.4 有關工作方式常見問題的解法思考 ........................................... 94
第8 章 數據分析實操 ??????????????????????????????????????????????????????????????????????? 97
8.1 預測性分析 ............................................................................................ 97
8.1.1 預測性分析的目的 ..................................................................... 98
8.1.2 分析思路與方法 ......................................................................... 99
8.1.3 預測性分析案例 ......................................................................... 99
8.2 描述性分析 .......................................................................................... 101
8.2.1 描述性分析的目的 ................................................................... 101
8.2.2 分析思路與方法 ....................................................................... 102
8.2.3 描述性分析案例 ....................................................................... 103
8.3 診斷性分析 .......................................................................................... 104
8.3.1 診斷性分析的目的 ................................................................... 105
8.3.2 分析思路與方法 ....................................................................... 105
8.4 數據分析報告 ...................................................................................... 110
8.4.1 數據分析報告的定位 ................................................................ 110
8.4.2 預測性分析報告的結構 ............................................................ 111
8.4.3 描述性分析報告的結構 ............................................................ 111
8.4.4 診斷性分析報告的結構 ............................................................ 112
數據套用篇
第9 章 BI 系統 ??????????????????????????????????????????????????????????????????????????????? 117
9.1 讓人頭疼的看板需求 ........................................................................... 117
9.2 BI 系統介紹 ......................................................................................... 119
9.2.1 什麼是BI 系統 ......................................................................... 119
9.2.2 BI 系統有哪些 .......................................................................... 119
9.2.3 BI 系統的相關人員................................................................... 120
9.2.4 BI 系統的特點 .......................................................................... 121
9.3 BI 系統的關鍵技術 .............................................................................. 122
9.4 BI 系統實踐 ......................................................................................... 124
9.4.1 數據接入 ................................................................................... 125
9.4.2 數據集加工 ............................................................................... 127
9.4.3 數據集許可權控制 ....................................................................... 129
9.4.4 可視化報表配置 ....................................................................... 130
9.4.5 可視化結果展示 ....................................................................... 136
9.4.6 數據分析OLAP ........................................................................ 137
9.4.7 如何衡量BI 系統是否成功 ...................................................... 142
第10 章 用戶畫像 ?????????????????????????????????????????????????????????????????????????? 143
10.1 用戶畫像的全貌 ................................................................................. 143
10.1.1 初識用戶畫像 ......................................................................... 144
10.1.2 基本概念 ................................................................................. 145
10.1.3 用戶畫像體系建設 .................................................................. 146
10.1.4 人員配合流程 ......................................................................... 149
10.2 用戶畫像的需求 ................................................................................. 150
10.2.1 對內需求盤點 ......................................................................... 151
10.2.2 對外競品調研 ......................................................................... 156
10.3 用戶畫像的規劃 ................................................................................. 158
10.3.1 用戶畫像的業務架構 .............................................................. 158
10.3.2 用戶畫像的產品架構 .............................................................. 159
10.3.3 用戶畫像的版本計畫 .............................................................. 162
10.3.4 用戶畫像的項目執行計畫 ...................................................... 163
10.4 用戶ID 體系 ...................................................................................... 164
10.4.1 方法 ........................................................................................ 164
10.4.2 實施過程 ................................................................................. 166
10.5 標籤體系 ............................................................................................ 167
10.5.1 標籤分類 ................................................................................. 168
10.5.2 標籤分級 ................................................................................. 175
10.6 用戶畫像系統..................................................................................... 177
10.6.1 概述 ........................................................................................ 177
10.6.2 首頁 ........................................................................................ 178
10.6.3 洞察 ........................................................................................ 179
10.6.4 標籤廣場 ................................................................................. 180
10.6.5 人群 ........................................................................................ 181
10.6.6 系統管理 ................................................................................. 183
10.6.7 總結 ........................................................................................ 183
10.7 用戶畫像的套用 ................................................................................. 183
第11 章 電商反作弊體系 ????????????????????????????????????????????????????????????????? 189
11.1 “網路黑產”的現狀 ......................................................................... 189
11.1.1 “網路黑產薅羊毛”事件 ...................................................... 189
11.1.2 “網路黑產”的類型 .............................................................. 190
11.1.3 電商“薅羊毛”場景 .............................................................. 191
11.1.4 “網路黑產”的發展趨勢 ...................................................... 192
11.1.5 “網路黑產”的作弊工具 ...................................................... 192
11.2 “網路黑產”的防控方案 .................................................................. 194
11.2.1 活動的損失評估...................................................................... 194
11.2.2 反“網路黑產”作弊案例 ...................................................... 194
第12 章 內容個性化推薦 ????????????????????????????????????????????????????????????????? 201
12.1 資訊的內容處理 ................................................................................. 201
12.1.1 資訊的內容來源 ..................................................................... 202
12.1.2 資訊的分類體系 ..................................................................... 203
12.1.3 常見的分類問題及內容分類原則 ........................................... 205
12.1.4 分類體系的構建 ..................................................................... 206
12.1.5 內容的標註與機器學習 .......................................................... 208
12.2 資訊用戶的畫像和特徵 ..................................................................... 209
12.2.1 資訊用戶的畫像 ..................................................................... 209
12.2.2 資訊用戶的特徵 ..................................................................... 209
12.3 資訊的推薦算法 ................................................................................. 211
12.3.1 資訊的信息抽取 ..................................................................... 211
12.3.2 資訊的分詞方法 ..................................................................... 212
12.3.3 資訊的過濾排重 ..................................................................... 213
12.3.4 資訊的召回模型 ..................................................................... 214
12.3.5 資訊的算法排序 ..................................................................... 216
12.4 資訊的重排策略及案例 ..................................................................... 216
12.4.1 常見的重排策略及策略的目標 ............................................... 216
12.4.2 資訊的重排策略案例 .............................................................. 217
第13 章 電商個性化推送 ????????????????????????????????????????????????????????????????? 221
13.1 push 的衡量 ........................................................................................ 222
13.1.1 push 的目標與本質 ................................................................. 222
13.1.2 push 的衡量指標 ..................................................................... 222
13.2 push 的最佳化方向 ................................................................................ 223
13.2.1 效率高 .................................................................................... 223
13.2.2 算法準 .................................................................................... 224
13.2.3 推薦好 .................................................................................... 226
13.2.4 展示靚 .................................................................................... 227
13.3 push 的推薦案例 ................................................................................ 228
13.3.1 新用戶推薦方案 ..................................................................... 228
13.3.2 推薦的效果評測 ..................................................................... 232
