Elastic Stack——介绍
发布时间:2018-05-08 17:05:44分类:Linux运维阅读:1044
开源的Elastic Stack能够安全可靠地获取任何来源、任何格式的数据,并且能够实时地对数据进行搜索、分析和可视化。
Elastic Stack主要由以下开源组件构成:
Kibana
Kibana配合Elasticsearch,对Elasticsearch中的数据进行过滤搜索、分析和以图表的形式呈现。
Kibana核心搭载了一批经典功能(如:线性图、区域图、条状图、饼图、数据表、地图等),并充分利用Elasticsearch的聚合功能,能够让您自由地选择如何呈现数据。
Elasticsearch
Elasticsearch是一个分布式的RESTful风格的搜索和数据分析引擎,基于Lucene构建,常作为其它应用的基础搜索引擎,比如Kibana。接近实时的数据存储与搜索功能,具有稳定、可靠、快速、可扩展等特点。其使用RESTful API和JSON标准,拥有很多语言的客户端(如Java、C#、Python、PHP等),可以用来开发自己的搜索应用。
Logstash
Logstash是JRuby语言编写,运行于java虚拟机(JVM)上的开源服务器端数据处理管道,能够同时从多个来源采集数据、转换数据,然后将数据发送到“存储库”中(如Elasticsearch)。
input输入,以连续的流式传输,利用不同的输入插件,采集各种样式、大小和来源的数据。
filter过滤器,利用不同的过滤器插件,实时动态地转换和解析数据,不受格式或复杂度的影响。
output输出,利用不同的输出插件,将过滤器处理后的数据发送到指定的地方(如Elasticsearch)。
利用X-Pack monitoring功能,轻松观察和研究处理活动状态的Logstash节点或整个部署,充分了解管道性能、可用性和瓶颈异常等。
Beats
Beats是轻量型采集器平台,从边缘机器向Logstash或Elasticsearch发送数据,其包含多种单一用途的数据采集器,如:
Filebeat采集日志文件
Metricbeat采集指标,内部
Packetbeat采集网络数据
Winlogbeat采集Windows事件日志
Audibeat审计数据
Heartbeat运行时间监控
Filebeat和Metricbeat,内部集成了一系列模块(如:Nginx、Apache、Mysql和系统指标等),用于简化收集、解析和可视化常见的日志格式。
X-Pack
X-Pack是集成了多种便捷功能的单个插件(如security、alerting、monitoring、reporting、graph搜索和machine learning)。