ELK 是 ElasticSearch、 LogStash、 Kibana 三个开源工具的简称,现在还包括 Beats,其分工如下:
LogStash/Beats: 负责数据的收集与处理ElasticSearch: 一个开源的分布式搜索引擎,负责数据的存储、检索和分析Kibana: 提供了可视化的界面。负责数据的可视化操作
基于 ELK Stack 可以构建日志分析平台、数据分析搜索平台等非常有用的项目
elk的使用流程图如下所示,比价容易理解
数据源,数据源可以有很多种,比如搜集各类日志,redis中的数据,或者消息队列中的消息数据等logstash中定义数据源的输入输出规则,可以在logstash中定义输入来源地址,定义输出到es中的索引名称,type类型等配置信息es负责数据的存储,这里的数据可以持久化存储,大数据分析的时候也可以不必持久化存储Kibana对需要分析的数据进行可视化界面的展示,可以通过配置插件进行友好更加人性化的数据展示
ELK的搭建流程
一. ElasticSearch 的安装与运行
1、下载安装包