《Learning ELK Stack 中文版》是2016年6月電子工業出版社出版的圖書，作者是寧海元。
基本介紹
- 書名：Learning ELK Stack 中文版
- 作者：寧海元
- ISBN：9787121288845
- 頁數：192頁
- 定價：65元
- 出版社：電子工業出版社
- 出版時間：2016年6月
- 開本：16開
內容簡介,圖書目錄,
內容簡介
本書將從向你展示如何通過安裝工具和基本配置來設定堆疊開始，來向你介紹ELK (Elasticsearch Logstash,Kibana)堆疊。然後教你使用ELK堆疊去構建一個基礎數據管道。最後，你將探索Logstash的關鍵特性及其在ELK堆疊中的作用，包括創建Logstash外掛程式,這將使你使用自己的自定義外掛程式。
圖書目錄
前言 ............................................................................................................. XIII
1 EKL 技術棧介紹 ......................................................................................... 1
日誌分析的必要性 ................................................................................................................... 1
問題調試 .................................................................................................................................................. 2
性能分析 .................................................................................................................................................. 2
安全分析 .................................................................................................................................................. 2
預測分析 .................................................................................................................................................. 2
物聯網日誌 .............................................................................................................................................. 3
日誌分析的挑戰 ....................................................................................................................... 3
不一致的日誌格式 .................................................................................................................................. 3
不同的時間格式 ...................................................................................................................................... 4
專業知識的需求 ...................................................................................................................................... 5
ELK 技術棧 .............................................................................................................................. 5
Elasticsearch ............................................................................................................................................. 5
Logstash .................................................................................................................................................... 6
Kibana ...................................................................................................................................................... 6
ELK 數據管道 .......................................................................................................................... 7
安裝 ELK 技術棧 ..................................................................................................................... 8
安裝 Elasticsearch .................................................................................................................................... 8
運行 Elasticsearch .................................................................................................................................... 9
配置 Elasticsearch .................................................................................................................................. 10
Elasticsearch 外掛程式 .................................................................................................................................. 11
安裝 Logstash ......................................................................................................................................... 11
運行 Logstash ......................................................................................................................................... 12
Logstash 的檔案輸入外掛程式 ..................................................................................................................... 13
Learning ELK stack（中文版）
【VIII】
Logstash 的 Elasticsearch 輸出外掛程式 ..................................................................................................... 13
配置 Logstash ......................................................................................................................................... 14
安裝 Logstash forworder ........................................................................................................................ 15
Logstash 外掛程式 ......................................................................................................................................... 15
安裝 Kibana ........................................................................................................................................... 17
配置 Kibana ........................................................................................................................................... 18
運行 Kibana ........................................................................................................................................... 18
Kibana 的界面 ....................................................................................................................................... 19
總結 ......................................................................................................................................... 22
2 構建第一條 ELK 數據管道 ........................................................................ 23
輸入的數據集 ......................................................................................................................... 23
輸入數據集的數據格式 ........................................................................................................................ 23
配置 Logstash 的輸入 ............................................................................................................ 25
過濾和處理輸入數據 ............................................................................................................. 26
將數據存儲到 Elasticsearch ................................................................................................... 29
使用 Kibana 可視化 ............................................................................................................... 32
運行 Kibana ........................................................................................................................................... 32
Kibana 可視化組件 ............................................................................................................................... 34
構建折線圖 ............................................................................................................................................ 35
構建柱狀圖 ............................................................................................................................................ 36
構建度量 ................................................................................................................................................ 37
構建數據表 ............................................................................................................................................ 38
總結 ......................................................................................................................................... 40
3 使用 Logstash 採集、解析和轉換數據 ..................................................... 41
配置 Logstash ......................................................................................................................... 41
Logstash 外掛程式 ........................................................................................................................ 42
列出 Logstash 的所有外掛程式 .................................................................................................................... 42
外掛程式屬性的數據類型 ............................................................................................................................ 43
Logstash 條件語句 ................................................................................................................................. 44
Logstash 外掛程式的類型 ............................................................................................................................. 46
總結 ......................................................................................................................................... 72
目錄
【IX】
4 創建自定義 Logstash 外掛程式 ....................................................................... 73
Logstash 外掛程式管理 ................................................................................................................. 73
外掛程式生命周期管理 ................................................................................................................. 74
安裝外掛程式 ................................................................................................................................................ 74
更新外掛程式 ................................................................................................................................................ 75
卸載外掛程式 ................................................................................................................................................ 75
Logstash 外掛程式的結構 ............................................................................................................. 76
需要的依賴 ............................................................................................................................................ 77
類定義 .................................................................................................................................................... 78
配置外掛程式名字 ........................................................................................................................................ 78
配置選項設定 ........................................................................................................................................ 78
外掛程式方法 ................................................................................................................................................ 79
實現一個 Logstash 過濾器外掛程式 ............................................................................................................ 81
構建外掛程式 ................................................................................................................................................ 83
總結 ......................................................................................................................................... 86
5 為什麼需要 ELK 中的 Elasticsearch ......................................................... 87
為什麼是 Elasticsearch ........................................................................................................... 87
Elasticsearch 的基本概念 ....................................................................................................... 88
索引 ........................................................................................................................................................ 88
文檔 ........................................................................................................................................................ 88
欄位 ........................................................................................................................................................ 89
類型 ........................................................................................................................................................ 89
映射 ........................................................................................................................................................ 89
分片 ........................................................................................................................................................ 89
主分片和副本分片 ................................................................................................................................ 89
集群 ........................................................................................................................................................ 90
節點 ........................................................................................................................................................ 90
探索 Elasticsearch API ........................................................................................................... 91
列出所有可用索引 ................................................................................................................................ 92
列出集群中的所有節點 ........................................................................................................................ 93
檢查集群的健康狀態 ............................................................................................................................ 93
Learning ELK stack（中文版）
【X】
創建索引 ................................................................................................................................................ 94
檢索文檔 ................................................................................................................................................ 95
刪除文檔 ................................................................................................................................................ 96
Elasticsearch Query DSL ........................................................................................................ 97
Elasticsearch 外掛程式 ................................................................................................................ 104
Bigdesk 外掛程式 ........................................................................................................................................ 104
Elastic-Hammer 外掛程式 .......................................................................................................................... 105
Head 外掛程式 ............................................................................................................................................. 105
總結 ....................................................................................................................................... 106
6 使用 Kibana 理解數據 ............................................................................ 107
Kibana 4 的功能 ................................................................................................................... 107
搜尋詞高亮顯示 .................................................................................................................................. 107
Elasticsearch 聚合 ................................................................................................................................ 108
衍生欄位 .............................................................................................................................................. 108
動態儀錶盤 .......................................................................................................................................... 108
Kibana 界面 .......................................................................................................................... 109
搜尋頁面 .............................................................................................................................................. 109
查詢和檢索數據 .................................................................................................................................. 111
總結 ....................................................................................................................................... 116
7 Kibana 可視化和儀錶盤 .......................................................................... 117
可視化頁面 ........................................................................................................................... 117
創建可視化 .......................................................................................................................................... 118
可視化的類型 ...................................................................................................................................... 118
度量和桶聚合 ...................................................................................................................................... 119
可視化 .................................................................................................................................................. 124
儀錶盤頁面 ........................................................................................................................... 129
創建新的儀錶盤 .................................................................................................................................. 130
保存和載入儀錶盤 .............................................................................................................................. 131
分享儀錶盤 .......................................................................................................................................... 131
總結 ....................................................................................................................................... 132
目錄
【XI】
8 構建完整的 ELK 技術棧 ......................................................................... 133
輸入數據集 ........................................................................................................................... 133
配置 Logstash 輸入 .............................................................................................................. 134
訪問日誌的 Grok 表達式 .................................................................................................................... 134
Kibana 可視化 ...................................................................................................................... 137
運行 Kibana ......................................................................................................................................... 137
在搜尋頁進行搜尋 .............................................................................................................................. 139
可視化—圖表 ...................................................................................................................................... 141
創建折線圖 .......................................................................................................................................... 142
創建區域圖 .......................................................................................................................................... 143
創建柱狀圖 .......................................................................................................................................... 144
創建 Markdown ................................................................................................................................... 145
儀錶盤頁面 .......................................................................................................................................... 146
總結 ....................................................................................................................................... 147
9 生產環境的 ELK 技術棧 ......................................................................... 149
防止數據丟失 ....................................................................................................................... 149
數據保護 ............................................................................................................................... 150
系統可擴展性 ....................................................................................................................... 152
數據保留 ............................................................................................................................... 153
ELK 技術棧實施案例 .......................................................................................................... 153
LinkedIn 的 ELK 技術棧 ..................................................................................................................... 153
SCA 使用 ELK 的案例 ........................................................................................................ 156
SCA 如何使用 ELK ............................................................................................................................ 157
如何幫助分析 ...................................................................................................................................... 157
SCA 使用 ELK 做監控 ....................................................................................................................... 158
Cliffhanger Solutions 使用 ELK 的案例 .............................................................................. 158
Kibana 示例——Packetbeat 儀錶盤 .................................................................................... 160
總結 ....................................................................................................................................... 163
10 擴展 ELK .............................................................................................. 165
Elasticsearch 外掛程式和工具 ..................................................................................................... 165
Learning ELK stack（中文版）
【XII】
用於索引管理的 Curator ..................................................................................................................... 165
用於安全的 Shield ............................................................................................................................... 167
用於監控的 Marvel ............................................................................................................................. 169
ELK 的路線圖 ...................................................................................................................... 172
Elasticsearch 路線圖 ............................................................................................................................ 172
Logstash 路線圖 ................................................................................................................................... 172
Kibana 路線圖 ..................................................................................................................................... 173
總結 ....................................................................................................................................... 174
