精通Elastic Stack

《精通Elastic Stack》是2018年8月清華大學出版社出版的圖書，作者是[印]Y.古普塔、 [印]R.K.古普塔。

基本介紹

• 中文名：精通Elastic Stack
• 作者：[印]Y.古普塔、 [印]R.K.古普塔
• 出版社：清華大學出版社
• 出版時間：2018年8月
• 定價：79.9 元
• ISBN：9787302492436

內容簡介

本譯著基於Elastic Stack面向大數據的搜尋與挖掘及可視化管理方案，是針對各種數據複雜分析的綜合性實用指南。主要內容包括Elastic Stack概述，用於管理、索引、檢索和分析數據的Elasticsearch，用於管理各種數據源日誌信息的Logstash，用於搜尋、可視化、分析數據的Kibana，用於監控、分析數據的Beats、X-Pack，以及基於Elastic Stack的實戰與個性化設定等方法。

本譯著內容廣泛、細節豐富、深入淺出，力求反映基於Elastic Stack 架構的最新成果，可供高等學校相關專業（如計算機科學與技術、軟體工程、物聯網、信息管理與信息系統）使用，對於從事大數據搜尋與挖掘、日誌分析、信息可視化、集群管理與性能監控的工程技術人員和希望了解網路信息檢索技術的人員也具有較高的參考價值和工程套用價值。

圖書目錄

第1章Elastic Stack概述1

1.1ELK Stack簡介1

1.1.1Logstash2

1.1.2Elasticsearch3

1.1.3Kibana3

1.2Elastic Stack的誕生3

1.3誰在使用Elastic Stack?4

1.3.1Salesforce5

1.3.2CERN5

1.3.3Green Man Gaming5

1.4競爭者6

1.5設定Elastic Stack的使用環境6

1.5.1安裝Java6

1.5.2安裝Elasticsearch9

1.5.3安裝Kibana12

1.5.4安裝Logstash15

1.5.5安裝Filebeat16

1.6XPack簡介18

1.7本章小結19

第2章走進Elasticsearch20

2.1Elasticsearch的起源20

2.2了解Elasticsearch的體系結構22

2.2.1推薦的集群配置23

2.2.2了解文檔處理24

2.3Elasticsearch API25

2.3.1有關文檔的API25

2.3.2有關搜尋的API38

2.3.3有關索引的API43

2.3.4Cat API51

2.3.5Cluster API52

2.4Query DSL52

2.5聚合52

2.5.1Buckets聚合52

2.5.2Metrics聚合59

2.6Painless腳本說明64

2.7本章小結66

〖1〗〖2〗〖1〗〖3〗第3章探索Logstash及其組件67

3.1Logstash簡介68

3.2為什麼需要用Logstash68

3.3Logstash的特點69

3.4Logstash外掛程式的體系架構70

3.5Logstash配置檔案的結構71

3.5.1值類型71

3.5.2條件判斷的用法73

3.6外掛程式種類74

3.6.1數據輸入外掛程式Input74

3.6.2數據過濾外掛程式Filter74

3.6.3數據輸出外掛程式Output75

3.6.4編解碼外掛程式Codec75

3.7學習數據輸入外掛程式Input76

3.7.1stdin77

3.7.2file78

3.7.3path79

3.7.4udp82

3.8學習數據過濾外掛程式Filter83

3.8.1grok84

3.8.2mutate86

3.8.3csv89

3.9學習數據輸出外掛程式Output90

3.9.1stdout90

3.9.2file91

3.9.3elasticsearch93

3.10學習編解碼外掛程式Codec95

3.10.1rubydebug95

3.10.2json96

3.10.3avro96

3.10.4multiline97

3.11外掛程式的命令行操作99

3.11.1列出外掛程式列表100

3.11.2安裝外掛程式100

3.11.3移除外掛程式101

3.11.4更新外掛程式101

3.11.5壓縮外掛程式102

3.11.6解壓外掛程式102

3.12Logstash的命令行操作103

3.13使用Logstash的小技巧105

3.13.1引用欄位及其值106

3.13.2添加自定義的grok模式106

3.13.3Logstash不顯示任何輸出信息107

3.14用於解析日誌的Logstash配置108

3.14.1Catalina日誌示例108

3.14.2Tomcat日誌示例108

3.14.3基於grok模式的Catalina日誌109

3.14.4基於grok模式的Tomcat日誌示例109

3.14.5Logstash配置檔案110

3.15監控系統相應狀態信息的API112

3.15.1節點信息API113

3.15.2外掛程式信息API115

3.15.3節點狀態API116

3.15.4Hot threads API116

3.16本章小結117

第4章Kibana界面118

4.1Kibana及其功能118

4.2探索Discover界面120

4.3時間過濾器121

4.3.1快捷時間過濾器122

4.3.2相對時間過濾器122

4.3.3絕對時間過濾器122

4.3.4自動刷新122

4.4查詢和搜尋數據123

4.4.1全文檢索123

4.4.2範圍搜尋123

4.4.3布爾搜尋124

4.4.4鄰近搜尋124

4.4.5通配符搜尋124

4.4.6正則表達式搜尋125

4.4.7分組125

4.5欄位和過濾器125

4.5.1過濾欄位125

4.5.2過濾器的功能126

4.6查詢頁面選項127

4.7探索Visualize界面127

4.7.1了解聚合129

4.7.2可視化畫布133

4.7.3面積圖133

4.7.4數據表133

4.7.5折線圖133

4.7.6氣泡圖133

4.7.7Markdown部件134

4.7.8Metric134

4.7.9餅圖134

4.7.10標籤雲134

4.7.11瓦片地圖134

4.7.12時間序列134

4.7.13直方圖134

4.8探索Dashboard界面135

4.9了解Timelion137

4.10探索開發者工具139

4.11探索設定界面140

4.11.1索引模式141

4.11.2已保存的對象141

4.11.3高級設定141

4.11.4狀態143

4.12綜合套用143

4.12.1輸入數據143

4.12.2創建Logstash配置檔案144

4.12.3使用Kibana147

4.12.4在Kibana中創建面板155

4.13本章小結157

第5章使用Beats158

5.1Beats簡介158

5.2Beats與Logstash的不同之處159

5.3Beats如何融入Elastic Stack160

5.4不同類型的Beats組件概述162

5.4.1Elastic團隊開發的Beats組件162

5.4.2社區開發者開發的Beats組件164

5.5Elastic團隊開發的Beats組件164

5.5.1了解Filebeat165

5.5.2理解Metricbeat172

5.5.3理解Packetbeat177

5.6社區開發者開發的Beats組件179

5.7Beats在Elastic Stack中的實戰182

5.7.1用Logstash和Kibana探索Metricbeat182

5.7.2用Elasticsearch和Kibana探索Elasticbeat191

5.8本章小結195

第6章Elastic Stack實戰196

6.1理解問題場景196

6.2準備Elastic Stack管道199

6.2.1要獲取什麼數據?200

6.2.2更新體系結構200

6.3配置Elastic Stack組件201

6.3.1搭建Elasticsearch202

6.3.2搭建agents/Beats202

6.3.3搭建Logstash207

6.3.4設定Kibana213

6.4設定Kibana面板213

6.4.1Packetbeat214

6.4.2Metricbeat214

6.4.3查看資料庫(MySQL)性能215

6.4.4分析CPU的使用216

6.4.5記憶體使用情況217

6.4.6檢查日誌217

6.4.7尋找訪問最多的網頁219

6.4.8訪客地圖219

6.4.9一定時間範圍內的訪客數量220

6.4.10請求類型221

6.4.11錯誤類型——日誌的級別221

6.4.12首選的referrer223

6.4.13首選的代理agent223

6.5使用Logstash電子郵件功能發警報224

6.6使用訊息代理225

6.7本章小結226

第7章個性化定製Elastic Stack227

7.1擴展Elasticsearch227

7.1.1Elasticsearch開發環境228

7.1.2剖析一個Elasticsearch Java 外掛程式229

7.1.3構建外掛程式230

7.2擴展Logstash231

7.3擴展Beats239

7.3.1Libbeat框架239

7.3.2創建一個Beat240

7.4擴展Kibana251

7.4.1設定Kibana開發環境252

7.4.2生成一個外掛程式253

7.4.3剖析一個外掛程式254

7.5本章小結257

第8章Elasticsearch API258

8.1集群API258

8.1.1集群健康狀況258

8.1.2集群狀態260

8.1.3集群統計信息261

8.1.4待處理任務261

8.1.5集群重路由261

8.1.6集群更新設定262

8.1.7節點統計信息262

8.1.8節點信息API263

8.1.9任務管理API264

8.2Cat API265

8.3Elasticsearch模組268

8.3.1集群模組269

8.3.2Discovery模組269

8.3.3Gateway模組269

8.3.4HTTP模組269

8.3.5索引模組269

8.3.6網路模組269

8.3.7節點客戶端270

8.3.8外掛程式模組270

8.3.9腳本270

8.3.10快照/恢復模組271

8.3.11執行緒池271

8.3.12Transport模組271

8.3.13Tribe節點模組272

8.4Ingest節點272

8.5Elasticsearch客戶端276

8.5.1支持的客戶端276

8.5.2社區提供的客戶端276

8.6Java API277

8.6.1連線到集群277

8.6.2管理任務278

8.6.3索引級任務281

8.7Elasticsearch外掛程式286

8.7.1Discovery外掛程式287

8.7.2Ingest外掛程式287

8.7.3Elasticsearch SQL288

8.8本章小結289

第9章XPack外掛程式中的Security與Monitoring組件290

9.1XPack介紹290

9.2XPack的安裝291

9.2.1在Elasticsearch中安裝XPack291

9.2.2在Kibana中安裝XPack292

9.2.3在離線系統中安裝XPack292

9.2.4卸載XPack293

9.3Security組件294

9.3.1列出所有Security中的用戶295

9.3.2列出Security中的角色296

9.3.3了解Security中的角色297

9.3.4理解默認用戶角色299

9.3.5在Security中添加新角色299

9.3.6在Security中更新角色300

9.3.7了解欄位級的Security301

9.3.8在Security中添加新用戶302

9.3.9在Security中更新用戶詳細信息303

9.3.10在Security中修改用戶密碼304

9.3.11在Security中刪除角色304

9.3.12在Security中刪除用戶304

9.4查看XPack信息305

9.5Monitoring組件307

9.5.1探索Elasticsearch的監控統計308

9.5.2探索Kibana的監控統計314

9.6了解Profiler315

9.7本章小結317

第10章XPack外掛程式中的Alerting、Graph和Reporting組件318

10.1Alerting與Notification組件318

10.2Graph組件336

10.3Reporting組件341

10.4本章小結344

第11章最佳實踐範例345

11.1為什麼需要最佳實踐範例345

11.2了解你的用例346

11.3管理配置檔案347

11.3.1Elasticsearch——elasticsearch.yml347

11.3.2Kibana——kibana.yml348

11.4選擇正確的硬體348

11.4.1記憶體349

11.4.2磁碟351

11.4.3輸入輸出353

11.4.4CPU354

11.4.5網路354

11.5搜尋和索引性能354

11.5.1過濾快取354

11.5.2Fielddata的容量355

11.5.3索引緩衝區356

11.6調整Elasticsearch集群357

11.6.1選擇正確的節點357

11.6.2確定節點數359

11.6.3確定分片數360

11.6.4縮減磁碟空間361

11.7Logstash配置檔案361

11.7.1對多個數據源分類362

11.7.2使用conditional條件362

11.7.3使用自定義grok模式363

11.7.4簡化grokparsefailure363

11.7.5欄位的映像363

11.7.6動態模板363

11.7.7測試配置364

11.8重新索引數據364

11.9本章小結365

第12章案例分析——Meetup366

12.1了解Meetup使用場景366

12.2環境搭建367

12.2.1理解Meetup API368

12.2.2搭建Elasticsearch370

12.2.3準備Logstash370

12.2.4搭建Kibana374

12.3使用Kibana分析數據374

12.3.1內容過濾375

12.3.2按國家統計Meetup使用量377

12.3.3世界前10座使用Meetup的城市379

12.3.4按持續時間分析Meetup發展趨勢380

12.3.5按RSVP計數統計Meetup使用量383

12.3.6國家分組統計384

12.3.7加入群組的模式統計384

12.3.8熱門類別385

12.3.9熱門話題387

12.3.10Meetup活動場所地圖388

12.3.11Meetup活動地圖389

12.3.12僅數量方面的統計389

12.4獲取通知390

12.5本章小結393