大數據搜尋與挖掘及可視化管理方案——Elastic Stack 6:Elasticsea

《大數據搜尋與挖掘及可視化管理方案——Elastic Stack 6：Elasticsea》是清華大學出版社於2019年8月出版的圖書，作者是高凱、岳重陽、江躍華。

基本介紹

• 書名：大數據搜尋與挖掘及可視化管理方案——Elastic Stack 6：Elasticsea
• 作者：高凱，岳重陽，江躍華
• ISBN：9787302507994
• 定價：59元
• 出版社：清華大學出版社 
• 出版時間：2019.08.01
• 印次：4-2 
• 印刷日期：2019.08.05 

圖書簡介

本書系統地介紹數據搜尋與實時分析引擎套件ElasticStack的相關技術，並通過實戰講解的方式介紹Elasticsearch、Logstash、Kibana、XPack、Beats等的套用。全書共11章，內容涵蓋Elasticsearch架構簡介、文檔索引及管理、信息檢索與聚合、ElasticsearchAPI及其套用、Elasticsearch配置與集群管理、基於Logstash的日誌處理、基於Kibana的數據分析及可視化、基於XPack的系統運行監控、基於Beats的數據解析傳輸，最後給出兩個信息檢索與分析實例。

本書強調實踐和面向初學者，力求反映基於ElasticStack6架構的最新成果。本書可供高等學校計算機科學與技術、軟體工程、物聯網、信息管理與信息系統等專業的學生在學習和科研中參考。對於從事大數據搜尋與挖掘、日誌分析、信息可視化、集群管理與性能監控的工程技術人員和希望了解網路信息檢索技術的人員也具有較高的參考價值和工程套用價值。

圖書目錄

第1章概述1

1.1Elasticsearch概述3

1.1.1Elasticsearch的安裝與簡單配置4

1.1.2Elasticsearch API的使用方式7

1.2Logstash7

1.3Kibana8

1.4Beats8

1.5XPack9

1.6其他9

1.7擴展知識與閱讀9

1.8本章小結10

第2章文檔索引及管理11

2.1文檔索引概述11

2.2head： Elasticsearch用於數據管理的工具之一13

2.3建立索引15

2.4通過映像配置索引20

2.4.1在索引中使用映像20

2.4.2管理/配置映像21

2.4.3獲取映像信息22

2.4.4刪除映像23

2.5管理索引檔案24

2.5.1打開、關閉、檢測、刪除索引檔案24

2.5.2清空索引快取25

2.5.3刷新索引檔案25

2.5.4最佳化索引檔案26[1][2][1][3]2.5.5flush操作26

2.6設定中文分析器26

2.7對文檔的其他操作29

2.7.1獲取指定文檔的信息29

2.7.2刪除指定文檔的信息31

2.7.3更新指定文檔的信息31

2.7.4基於POST方式批量獲取文檔信息34

2.8實例36

2.9擴展知識與閱讀40

2.10本章小結41

第3章信息檢索與聚合42

3.1實驗數據集描述43

3.2基本檢索44

3.2.1檢索方式44

3.2.2query查詢45

3.2.3from/size查詢46

3.2.4檢索結果排序46

3.2.5高亮搜尋詞49

3.2.6查...

3.2.6查詢模板50

3.3檢索進階51

3.3.1全文檢索51

3.3.2詞項檢索55

3.3.3複合查詢58

3.3.4跨度查詢61

3.3.5特殊查詢64

3.3.6腳本65

3.4聚合68

3.4.1metric聚合69

3.4.2bucket聚合74

3.4.3pipeline聚合83

3.4.4matrix聚合87

3.5實例88

3.6擴展知識與閱讀94

3.7本章小結95

第4章ElasticsearchAPI及其套用96

4.1Elasticsearch節點實例化96

4.1.1在Java中初始化Elasticsearch96

4.1.2在Python中初始化Elasticsearch100

4.2索引數據101

4.2.1準備JSON數據101

4.2.2為JSON數據生成索引103

4.3對索引檔案的操作106

4.3.1獲取索引中的文檔數據106

4.3.2刪除索引檔案中的文檔數據108

4.3.3更新索引檔案中的文檔數據109

4.3.4對索引檔案中的文檔進行批量操作110

4.4信息檢索112

4.4.1概述113

4.4.2multiSearch114

4.4.3查詢模板115

4.4.4QueryDSL概述117

4.4.5matchAllQuery117

4.4.6全文檢索118

4.4.7詞項檢索121

4.4.8複合查詢125

4.4.9跨度查詢127

4.4.10特殊查詢130

4.5聚合132

4.5.1Metric聚合132

4.5.2bucket聚合136

4.6對檢索結果的進一步處理140

4.6.1控制每頁的顯示數量及排序依據140

4.6.2基於scroll分頁顯示檢索結果140

4.7JavaHighLevelRESTfulClient和ElasticsearchDSL142

4.7.1JavaHighLevelRESTfulClient142

4.7.2ElasticsearchDSL146

4.8實例148

4.8.1在Elasticsearch中建立索引148

4.8.2連線Elasticsearch149

4.8.3信息採集與索引構建150

4.8.4搜尋模組152

4.8.5推薦模組153

4.8.6聚合模組154

4.9擴展知識與閱讀155

4.10本章小結156

第5章Elasticsearch配置與集群管理157

5.1Elasticsearch的部分基本配置157

5.2索引檔案和查詢最佳化160

5.3監控集群狀態161

5.4控制索引檔案分片與副本分配163

5.5集群管理165

5.6擴展知識與閱讀166

5.7本章小結167

第6章基於Logstash的日誌處理168

6.1概述169

6.2input：處理輸入的日誌數據171

6.2.1處理基於file方式輸入的日誌信息172

6.2.2處理基於generator產生的日誌信息173

6.2.3基於Filebeat處理log4j的日誌信息174

6.2.4處理基於redis的日誌信息176

6.2.5處理基於TCP傳輸的日誌數據179

6.2.6處理基於UDP傳輸的日誌數據183

6.3codec：格式化日誌數據185

6.3.1json格式185

6.3.2rubydebug格式187

6.3.3plain格式187

6.4基於filter的日誌處理與轉換188

6.4.1jsonfilter189

6.4.2grokfilter190

6.4.3kvfilter192

6.5output：輸出日誌數據195

6.5.1將處理後的日誌輸出到Elasticsearch中195

6.5.2將處理後的日誌輸出到檔案中197

6.5.3將處理後的日誌輸出到csv檔案中198

6.5.4將處理後的日誌輸出到redis中199

6.5.5將處理後的日誌通過UDP輸出201

6.5.6將處理後的日誌通過TCP輸出202

6.5.7將日誌信息傳送至Email206

6.6擴展知識與閱讀208

6.7本章小結209

第7章基於Kibana的數據分析及可視化210

7.1Kibana概述211

7.2安裝Kibana211

7.3使用Management組件管理配置212

7.3.1創建索引模式213

7.3.2高級設定214

7.3.3管理已保存的檢索、可視化和儀錶板218

7.4使用Discover組件執行查詢219

7.4.1設定時間選擇器219

7.4.2在索引模式中執行搜尋220

7.4.3欄位過濾221

7.4.4查看文檔數據222

7.5使用Visualize組件創建統計圖表224

7.6使用Dashboard組件創建動態儀錶板226

7.6.1創建新的動態儀錶板227

7.6.2打開已保存的動態儀錶板228

7.6.3分享動態儀錶板228

7.7使用Timelion組件創建時間線229

7.8使用DevTools執行命令行231

7.8.1在Console中執行命令231

7.8.2Console快捷鍵233

7.8.3Console設定234

7.9網站性能監控可視化套用實例234

7.9.1概述234

7.9.2使用Visualize實現可視化234

7.9.3使用Dashboard整合可視化結果238

7.10擴展知識與閱讀239

7.11本章小結240

第8章基於XPack的系統運行監控241

8.1XPack概述241

8.2安裝XPack242

8.3Security外掛程式與安全性243

8.3.1身份驗證機制與用戶管理243

8.3.2匿名訪問246

8.3.3基於域的用戶認證247

8.3.4基於角色的訪問許可權配置248

8.3.5IP位址過濾251

8.3.6帶有身份認證的TransportClient253

8.3.7帶有身份認證的RESTful命令256

8.4使用Monitoring監控系統運行狀態256

8.4.1系統運行狀態監控256

8.4.2配置Monitoring260

8.4.3搭建獨立的Monitoring集群262

8.5Alerting外掛程式與異常事件警報263

8.5.1通過RESTful方式設定監視器264

8.5.2通過Java程式設定監視器267

8.5.3使用WatcherUI管理監視器269

8.6Reporting與報告生成270

8.6.1在程式中生成報告270

8.6.2通過監視器自動生成報告271

8.7使用Graph探索數據關聯273

8.8使用MachineLearning發現數據趨勢異常275

8.9使用SearchProfiler分析搜尋查詢277

8.10使用GrokDebugger調試grok表達式279

8.11擴展知識與閱讀280

8.12本章小結280

第9章基於Beats的數據解析傳輸281

9.1基於packetbeat的網路數據包傳輸282

9.1.1概述282

9.1.2安裝282

9.1.3配置283

9.1.4載入索引模板285

9.1.5啟動和關閉286

9.1.6使用Kibana進行可視化展示287

9.2基於Filebeat的日誌傳輸288

9.2.1概述288

9.2.2安裝和配置288

9.2.3啟動和關閉291

9.2.4使用Kibana進行展示291

9.3基於metricbeat的系統指標數據傳輸292

9.3.1概述292

9.3.2安裝和配置293

9.3.3啟動和關閉294

9.3.4使用Kibana進行展示295

9.4基於winlogbeat的Windows事件日誌數據傳輸296

9.4.1概述296

9.4.2安裝297

9.4.3配置298

9.4.4啟動和關閉301

9.4.5使用Kibana進行展示302

9.5基於auditbeat的用戶和進程活動審計304

9.5.1概述304

9.5.2安裝和配置304

9.5.3啟動和關閉305

9.5.4使用Kibana進行展示306

9.6基於heartbeat的服務狀態檢測308

9.6.1概述308

9.6.2安裝和配置308

9.6.3啟動和關閉311

9.6.4使用Kibana進行展示311

9.7擴展知識與閱讀313

9.8本章小結313

第10章信息檢索與分析實例（一）314

10.1基於Elasticsearch的行業信息存儲314

10.1.1環境準備314

10.1.2數據準備315

10.2基於SpringBoot的信息檢索及Web端設計317

10.2.1創建和配置工程317

10.2.2Web頁面設計319

10.3基於Logstash的日誌處理327

10.3.1配置SpringBoot輸出日誌327

10.3.2在Logstash中進行相關配置329

10.4基於Kibana的日誌分析結果可視化330

10.4.1訪問量走勢分析331

10.4.2查詢參數比率分析333

10.4.3故障案例可視化334

10.4.4將圖表集成到儀錶板中335

10.5擴展知識與閱讀336

10.6本章小結337

第11章信息檢索與分析實例（二）338

11.1面向動態網站的信息採集339

11.1.1軟體準備339

11.1.2瀏覽器驅動程式339

11.1.3創建索引和映像340

11.1.4導入依賴341

11.1.5數據採集342

11.2基於SpringMVC的信息檢索及Web程式設計348

11.2.1創建和配置SpringMVC項目348

11.2.2前端頁面設計351

11.2.3後端控制器類356

11.3基於Logstash的日誌處理360

11.4基於Beats的數據傳輸361

11.5基於Kibana的數據可視化362

11.5.1可視化索引檔案中的信息363

11.5.2對Logstash、Beats的可視化展示364

11.6基於XPack的系統監控366

11.7擴展知識與閱讀369

11.8本章小結369

參考文獻370