《騰訊大數據構建之道》是機械工業出版社出版的圖書。騰訊官方出品，騰訊大數據構建之道首次對外披露。騰訊大數據平台十年磨一劍，踐行“科技向善”落地方案。
基本介紹
- 中文名：騰訊大數據構建之道
- 作者：蔣傑+劉煜宏+陳鵬+鄭禮雄
- 出版社：機械工業出版社
- 出版時間：2022年7月1日
- 頁數：550 頁
- 定價：149 元
- 開本：16 開
- ISBN：9787111710769
內容簡介,圖書目錄,作者簡介,
內容簡介
全書共13章，分兩大部分進行全面而系統的介紹，
第一部分從騰訊大數據平台的發展歷程和總體架構切入，深入剖析了各項技術原理，闡述了實戰過程中的挑戰和自研核心技術的設計思想，覆蓋了大數據接入、計算、存儲、分析、調度等大量技術組件。
第二部分主要介紹了騰訊在數據治理、數據套用、機器學習和平台運營方面的建設經驗，並對騰訊大數據產品及其在內外部場景的實踐落地進行了解讀， 書中列舉的大量實踐案例對廣大讀者都極具參考價值和借鑑意義。
圖書目錄
前言
第1章 打造騰訊大數據平台1
1.1 騰訊大數據的緣起3
1.2 騰訊大數據的構建理念5
1.3 騰訊大數據的總體架構7
第2章 數據實時採集平台11
2.1 接入層挑戰12
2.2 接入管理層TDManager14
2.3 數據採集17
2.4 數據匯流排23
2.5 訊息中間件30
2.6 數據分揀40
2.7 接入層展望44
第3章 分散式存儲平台46
3.1 檔案存儲HDFS47
3.2 統一存儲Ceph62
3.3 下一代大數據存儲Ozone77
3.4 KV存儲HBase88
第4章 分散式計算平台99
4.1 批處理MapReduce100
4.2 批處理Spark107
4.3 批處理漂移計算SuperSQL123
4.4 流處理Flink146
4.5 SQL數據倉庫Hive165
4.6 任務調度175
第5章 數據分析引擎184
5.1 關係型OLAP：騰訊實時多維分析平台185
5.2 關係型OLAP：ClickHouse200
5.3 多維OLAP：Kylin211
5.4 多維OLAP：Druid222
第6章 資源調度平台234
6.1 Yarn項目背景235
6.2 調度器性能最佳化241
6.3 集群的高可用性244
6.4 多資源維度彈性管理254
第7章 數據治理體系261
7.1 元數據262
7.2 數據資產管理271
7.3 大數據安全283
第8章 機器學習平台298
8.1 圖智慧型平台299
8.2 Angel310
8.3 聯邦學習333
第9章 數據內容挖掘350
9.1 概覽351
9.2 廣告內容挖掘352
9.3 用戶畫像數據體系365
9.4 用戶畫像構建方法366
9.5 數據內容挖掘與推薦379
9.6 數據內容挖掘與AI創作380
第10章 大數據平台運營384
10.1 大數據服務規劃385
10.2 大數據平台治理393
10.3 自動化運維體系構建397
10.4 平台運營成本最佳化404
10.5 大數據運營分析與套用體系408
第11章 大數據平台產品設計410
11.1 TBDS大數據處理套件411
11.2 Oceanus實時流式數據處理平台419
11.3 ideX數據分析與探索挖掘工具425
11.4 智慧型鈦TI機器學習平台429
第12章 企業級容器雲平台GaiaStack438
12.1 GaiaStack產品背景和目標439
12.2 GaiaStack架構和技術特點446
12.3 GaiaStack核心技術454
第13章 大數據套用服務503
13.1 智慧型客服機器人504
13.2 移動推送526
13.3 數據可視化產品小馬BI535
參考文獻549
作者簡介
核心團隊
騰訊數據平台部致力於為騰訊集團旗下業務提供專業、可靠的大數據平台及機器學習平台服務，並依託騰訊雲將大數據與AI能力對外輸出。團隊專注於大數據、雲原生、機器學習、圖計算、AI視覺和推薦技術等核心技術，並在world-Class比賽中屢獲獎項。同時，團隊全面擁抱開源並持續貢獻社區，自主研發的分散式機器學習平台Angel和大數據集成平台InLong分別從Linux和Apache頂級項目畢業，具有world-Class的技術影響力。
核心作者
蔣傑，北京大學博士，騰訊公司副總裁，中國人工智慧產業發展聯盟（AIIA）副理事長，中國計算機學會（CCF）大數據專家委員會委員。
2012年起在騰訊負責大數據平台建設，主導研發了離線計算、實時計算、機器學習、數智融合四代騰訊大數據平台，並推動大數據技術開源。 帶領騰訊完成了騰訊廣告投放端整合，實現了騰訊全流量的一站式投放。在人工智慧領域，打造了騰訊AI學習平台，獲得多項頂級賽事獎項。
