背景
日志系统接入的日志种类多、格式复杂多样,主流的有以下几种日志:
filebeat采集到的文本日志,格式多样
winbeat采集到的操作系统日志
设备上报到logstash的syslog日志
接入到kafka的业务日志
以上通过各种渠道接入的日志,存在2个主要的问题:
格式不统一、不规范、标准化不够
如何从各类日志中提取出用户关心的指标,挖掘更多的业务价值
为了解决上面2个问题,我们基于flink和drools规则引擎做了实时的日志处理服务。
系统架构
架构比较简单,架构图如下:
各类日志都是通过kafka汇总,做日志中转。
flink消费kafka的数据,同时通过API调用拉取drools规则引擎&#