前言
- 各组件总下载页: https://www.elastic.co/cn/downloads/
- 容器下载页: https://www.docker.elastic.co
- Elasticsearch 搜索分析 https://www.elastic.co/cn/downloads/elasticsearch
- Logstash 转换输出 https://www.elastic.co/cn/downloads/logstash
- Beats 收集 https://www.elastic.co/cn/downloads/beats/
- Kibana 展示 https://www.elastic.co/cn/downloads/kibana
数据过程:
data ☞ beats ☞ kafka ☞ Logstash ☞ Elasticsearch (master node) + data node ☞ Kibana
beats 是轻量的数据提取端，它有很多类型，例如：日志文件（Filebeat），网络数据（Packetbeat），服务器指标（Metricbeat），这些 beats 都依赖libbeat
logstash 不是必须的，但当你需要充当beats的聚合器或者过滤数据的时候，logstash可以帮你.
ℹ️beats 发送数据以事件为一个单位，例如一行就是一个事件
结构
上图是logstash官方的一个图。kafka作为数据中心，来保证消息的持久性。Beats将数据持久存储在kafka，logstash从kafka中消费。