《分散式實時計算框架原理及實踐案例》作者王成光，由電子工業出版社出版於2016年9月出版。
基本介紹
- 書名：分散式實時計算框架原理及實踐案例
- 作者：王成光
- ISBN：978-7-121-29620-8
- 頁數：292
- 定價：79
- 出版社：電子工業出版社
- 出版時間：2016年9月
- 開本：16
內容提要,目錄,
內容提要
“授人以魚不如授人以漁”，《分散式實時計算框架原理及實踐案例》是作者以如此初心寫成的，主要參考當前主流分散式實時計算框架Storm的任務分發和Spark Streaming的Mini-Batch設計思想，以及底層實現技術，開源了作者自研的輕量級分散式實時計算框架——Light_drtc，並且重點介紹設計思想和相關實現技術（Kafka/RabbitMQ、Redis/SSDB 、GuavaCache、MongoDB、HBase、ES/SolrCloud、Thrift、Avro、Jetty），後從工程角度向大家介紹完整的個性化推薦系統，並實例介紹Light_drtc在用戶畫像實時更新的套用。《分散式實時計算框架原理及實踐案例》描述淺顯易懂，希望讀者理解分散式實時計算的實現原理，並快速上手解決實際問題。
目錄
第1 章 分散式實時計算框架介紹.1
1.1 分散式計算Hadoop.1
1.2 分散式實時計算........3
1.2.1 Spark Streaming..3
1.2.2 Storm .......6
1.2.3 其他框架.8
1.3 為什麼自研......8
1.4 總結......10
第2 章 light_drtc 簡介及使用說明......... 11
2.1 light_drtc 框架簡介 11
2.2 light_drtc 代碼結構12
2.3 light_drtc 重要配置項.......14
2.4 light_drtc 和Storm 比較...15
2.5 light_drtc 使用說明16
2.5.1 ACN（AN 和CN 整合）作為獨立服務....16
2.5.2 CN、AN 作為獨立服務........20
2.5.3 任務計算JN.....23
2.6 總結......26
第3 章 light_drtc 核心技術實現...27
3.1 light_drtc 技術架構27
3.2 light_drtc 計算框架設計思想....30
3.2.1 CN 設計思想....30
3.2.2 AN 多主模式設計思想..........31
3.2.3 JN 設計思想.....34
3.3 light_drtc 核心技術的實現.........36
3.3.1 實時收集數據CN.......36
3.3.2 任務協調管理AN.......40
3.3.3 任務計算JN.....49
3.4 總結......50
第4 章 訊息佇列MQ.51
4.1 訊息佇列使用場景.51
4.2 訊息佇列原理..........53
4.2.1 MQ 使用流程...53
4.2.2 MQ 基本概念...54
4.2.3 MQ 通信模式...55
4.2.4 目前知名MQ 比較.....56
4.3 MQ 消費狀態監控..61
4.3.1 KafkaOffsetMonitor 介紹.......62
4.3.2 KafkaOffsetMonitor 部署.......62
4.4 RabbitMQ 和Kafka 的基本使用.........64
4.4.1 RabbitMQ 讀寫實例...64
4.4.2 Kafka 讀寫實例68
4.5 總結......71
第5 章 記憶體資料庫Redis3.0 及SSDB..........72
5.1 Redis 相關介紹........72
5.1.1 Redis3.0 集群架構......73
5.1.2 Redis3.0 集群選舉與容錯......74
5.1.3 SSDB 簡介.......75
5.2 Redis3.0 集群搭建..76
5.2.1 集群所依賴的Ruby 環境......77
5.2.2 Redis 集群創建77
5.2.3 Redis 集群驗證78
5.2.4 SSDB 簡單部署..........79
5.3 Redis 管理及使用...81
5.3.1 Redis 基本使用81
5.3.2 Redis 管理........83
5.4 Redis 客戶端套用...86
5.4.1 Redis3.0 客戶端..........86
5.4.2 SSDB 客戶端...89
5.5 本地快取Guava Cache.....90
5.5.1 認識Guava Cache .......90
5.5.2 Guava Cache 使用.......91
5.5.3 Java 客戶端使用.........94
5.6 總結......97
第6 章 NoSQL：MongoDB3.0 和HBase1.0 .........98
6.1 MongoDB3.0 和HBase1.0 新特性......99
6.1.1 MongoDB3.0 新特性..99
6.1.2 HBase1.0 新特性.......102
6.1.3 MongoDB 和HBase 比較....104
6.2 MongoDB3.0 集群和索引........105
6.2.1 MongoDB3.0 集群....105
6.2.2 Mongo 索引介紹.......107
6.3 HBase 底層實現介紹......108
6.3.1 HBase 相關Hadoop 體系....108
6.3.2 HBase 系統架構........ 110
6.4 Mongo 和HBase 客戶端使用. 113
6.4.1 Mongo 客戶端 113
6.4.2 HBase 客戶端. 119
6.5 總結.....124
第7 章 全文檢索：ElasticSearch2.x..125
7.1 認識ElasticSearch 和Solr........125
7.1.1 ElasticSearch 和Solr 基本介紹......125
7.1.2 ES 基本概念...127
7.1.3 ES 和SolrCloud 集群結構...129
7.1.4 ES 使用案例...130
7.2 ES 和Solr 比較分析.......131
7.2.1 ES 和Solr 發展比較.131
7.2.2 ES 和Solr 綜合比較.132
7.3 ES 集群介紹135
7.3.1 外掛程式安裝........135
7.3.2 中文分詞安裝136
7.3.3 ES2.X 集群節點類型138
7.3.4 ES 配置事項...142
7.4 ES 客戶端使用......144
7.4.1 ES 客戶端連線..........145
7.4.2 ES 基本操作...146
7.4.3 ES 高級使用...150
7.5 ES 在自研框架中的作用..........154
7.6 總結.....155
第8 章 微服務架構通信——RPC 和Web Service ........156
8.1 微服務架構由來....156
8.1.1 微服務與SOA 比較..157
8.1.2 微服務架構的優缺點159
8.1.3 微服務雪崩效應的防範.......161
8.2 RPC 介紹及實踐...163
8.2.1 Thrift/Nifty 介紹........163
8.2.2 Avro 介紹.......168
8.2.3 Dubbo/Dubbox 介紹..180
8.2.4 GRPC/ProtoBuf 介紹185
8.2.5 ZeroC ICE.......191
8.3 Web Service 介紹及實踐..........199
8.3.1 SOAP 和Rest .200
8.3.2 JWS（JDK 自身實現Web Service）........202
8.3.3 Jetty：嵌入式Servlet 容器..204
8.3.4 基於Spring MVC......206
8.3.5 其他Web Service 框架........ 211
8.4 總結.....212
第9 章 綜合實例：新聞推薦中的用戶畫像近實時更新213
9.1 個性化推薦系統組成.....213
9.1.1 用戶行為收集214
9.1.2 行為日誌解析216
9.1.3 常用推薦算法221
9.1.4 用戶畫像數據倉庫...245
9.1.5 元數據索引庫247
9.1.6 用戶推薦服務248
9.2 新聞推薦中用戶畫像近實時更新設計......248
9.2.1 新聞推薦中用戶畫像構成...250
9.2.2 新聞推薦中用戶畫像標籤數據字典.........251
9.2.3 新聞推薦用戶畫像實時更新流程..257
9.3 新聞推薦用戶畫像近實時更新技術實現..260
9.3.1 Storm 接入Kafka 實時計算實例...260
9.3.2 Spark Streaming 接入Kafka 實時計算實例........265
9.3.3 Light_drtc 接入Kafka..........270
9.3.4 用戶畫像實時更新核心實現..........270
9.4 總結.....280
