內容簡介
本書全面介紹了數據架構與數據建模的相關知識,全書分為4篇,共16章。第1~3章為數據架構基礎篇,介紹了企業架構、數據架構及數據模型的基礎概念。第4~9章為數據模型設計篇,介紹了如何通過數據模型記分卡規範化數據模型設計,以及經典數據建模方法論,包括範式建模、維度建模、Data Vault建模、統一星型建模。第10~12章為數據模型落地篇,介紹了在企業中如何實現多人協作構建模型、如何管控數據模型、數據模型數據與數據標準,以及元數據如何形成數據治理閉環。第13~16章為行業數據模型篇,分別介紹了證券、保險、教育、航空業的數據架構及數據模型。
圖書目錄
第一篇 數據架構基礎篇
1 緣起 2
1.1 數據架構與數據模型 2
1.2 數據建模簡史 5
2 企業架構 9
2.1 企業架構的構成 9
2.2 企業架構的框架 10
2.2.1 Zachman框架 10
2.2.2 TOGAF框架 12
2.3 敏捷的企業架構治理 12
2.3.1 傳統企業架構的消亡 13
2.3.2 現代企業架構的興起 13
2.4 企業架構與數據治理 16
3 數據模型 17
3.1 概念模型 17
3.1.1 概念模型的主要概念 18
3.1.2 概念模型的表示方法 20
3.2 邏輯模型 21
3.3 物理模型 23
第二篇 數據模型設計篇
4 數據模型質量 26
4.1 數據模型記分卡 26
4.1.1 數據模型記分卡概述 26
4.1.2 數據模型記分卡評分項 28
4.2 數據模型規範 37
5 範式建模 40
5.1 範式與模型 40
5.2 第一範式 42
5.3 第二範式 42
5.4 函式依賴 44
5.5 碼 46
5.6 非主屬性 46
5.7 第三範式 49
5.8 鮑依斯-科得範式 50
5.9 範式建模工作方法和流程 50
6 數據倉庫 53
6.1 數據倉庫的演化過程 53
6.1.1 數據倉庫的發展階段 53
6.1.2 數據倉庫技術架構的演進 54
6.1.3 數據倉庫的發展趨勢 57
6.2 數據倉庫的概念 58
6.3 數據倉庫的體系結構 59
6.4 數據倉庫的工具與技術 60
6.5 企業級數據倉庫 61
6.5.1 NCR數據倉庫方法論 61
6.5.2 企業級數據倉庫的實施 62
6.6 企業級數據倉庫的解決方案 65
6.6.1 Teradata數據倉庫解決方案 65
6.6.2 IBM數據倉庫解決方案 66
6.6.3 Oracle數據倉庫解決方案 67
7 維度建模 69
7.1 維度建模的基本概念 69
7.1.1 事實表 71
7.1.2 維度表 72
7.1.3 維度表和事實表的融合 74
7.2 維度建模的常見模式 76
7.2.1 星型模式 76
7.2.2 雪花模式 77
7.2.3 星座模式 77
7.3 維度建模的過程 78
7.3.1 選取業務處理過程 79
7.3.2 聲明粒度 79
7.3.3 確認維度 80
7.3.4 確認事實 80
7.4 維度建模的任務建議 81
7.4.1 組織工作 81
7.4.2 維度模型設計 82
7.5 數據倉庫匯流排結構 84
7.5.1 一致性維度 87
7.5.2 一致性事實 88
8 Data Vault建模 89
8.1 Data Vault的起源 89
8.2 Data Vault建模方法 89
8.3 Data Vault適用場景 94
9 統一星型模型建模 96
9.1 統一星型模型簡介 96
9.2 數據倉庫與數據集市 97
9.3 數據集市的演變 102
9.4 集成數據集市的方法 106
9.5 向集成數據集市變革 108
9.6 統一星型模型 111
9.6.1 統一星型模型的組成 111
9.6.2 統一星型模型的設計過程 112
9.6.3 建模方法 113
9.6.4 有向數據模型 116
第三篇 數據模型落地篇
10 數據模型管控 120
10.1 背景介紹 120
10.1.1 數據管理的痛點 120
10.1.2 模型管控的價值 121
10.2 數據模型管控的思路 122
10.2.1 數據模型規範化設計 122
10.2.2 數據模型評審 123
10.2.3 數據模型中心 123
10.3 組織架構 124
10.4 數據模型管控實戰經驗 126
10.4.1 數據模型管控流程 126
10.4.2 數據模型設計 127
10.4.3 數據模型評審 130
10.4.4 生產環境監控 134
11 數據架構與數據治理 136
11.1 企業架構與數據架構 136
11.2 數據架構驅動的數據治理 138
11.3 從數據架構到數據 139
11.4 元數據 141
11.5 元數據管理 142
11.6 數據模型與元數據的關係 143
11.7 數據模型與元數據的版本管理 144
11.8 數據模型與元數據的血緣分析 145
11.8.1 元數據的血緣 145
11.8.2 數據模型的血緣關係 145
11.8.3 開發邏輯模型生成元數據血緣關係 146
12 數據模型與數據標準 147
12.1 數據標準 147
12.1.1 數據標準的概念 147
12.1.2 數據標準的分類 149
12.2 數據模型與數據標準的關係 150
12.3 將數據標準套用於數據模型建設 150
12.4 從數據模型發現並生成新的數據標準 151
第四篇 行業數據模型篇
13 證券資管行業的數據架構及模型 154
13.1 證券公司業務概覽 154
13.2 證券行業數據管控 156
13.2.1 證券行業數據管控組織 158
13.2.2 證券行業數據管控規範制度 159
13.2.3 證券行業數據管控工具 160
13.3 證券公司數據模型 161
13.3.1 核心主題域模型 161
13.3.2 客戶數據域模型 162
13.3.3 品種數據域模型 163
13.3.4 賬戶數據域模型 164
13.3.5 渠道數據域模型 164
14 保險行業的數據架構及模型 165
14.1 保險行業業務概述 165
14.2 保險行業監管數據標準 166
14.3 保險行業數據模型 167
14.3.1 財產保險公司版數據模型 167
14.3.2 人身保險公司版數據模型 180
15 教育行業的數據架構及模型 182
15.1 教育行業信息化發展及現狀 182
15.2 數據標準化管理平台建設原則 183
15.3 數據標準化管理平台建設目標 184
15.4 教育行業數據架構的統籌規劃 185
15.4.1 數據架構設計 185
15.4.2 數據標準化管理平台架構設計 186
15.5 教育行業數據建模前期的數據準備 187
15.5.1 元數據 187
15.5.2 數據標準 187
15.6 教育行業的數據模型設計 189
15.7 教育行業的數據模型 190
15.7.1 學校主題數據模型 190
15.7.2 教職工主題數據模型 191
15.7.3 學生主題數據模型 193
16 航空公司的數據架構及模型 197
16.1 航空公司業務與信息化 197
16.1.1 航空運輸業務概覽 198
16.1.2 航空公司信息化發展 198
16.2 民用航空行業數據標準 200
16.3 航空公司數據架構 200
16.3.1 國外航空公司 201
16.3.2 國內航空公司 203
16.4 航空公司數據模型 205
16.5 概念模型的組成 206
16.6 航班運行領域數據模型 212
附錄A 證券期貨業已發布標準 214
附錄B 保險行業轉型相關政策檔案 218
附錄C 財產保險業務及人身保險業務要素數據規範 220
附錄D 民用航空行業數據標準簡介 222
作者簡介
王琤,Datablau數語科技創始人兼CEO。
具有近二十年數據管理經驗,曾任CA ERwin全球研發負責人,曾服務過美國銀行(BOA)、SunTrust、AT&T、殼牌等世界500強企業,參與過中國建設銀行、華為、南方電網、中國人壽、中信集團等大型企事業單位的數據治理建設。現為國資委數據要素專家組成員,DAMA China數據架構、數據模型專家委員會牽頭人,信通院數據資產專家委員會成員,Open Group成員,復旦大學、北京航空航天大學客座講師,並有多項專利、論文發表於IEEE等機構。