100字范文,内容丰富有趣,生活中的好帮手!
100字范文 > Flink从入门到精通100篇(四)-基于 Flink 和 Drools 的实时日志处理

Flink从入门到精通100篇(四)-基于 Flink 和 Drools 的实时日志处理

时间:2020-05-23 23:40:31

相关推荐

Flink从入门到精通100篇(四)-基于 Flink 和 Drools 的实时日志处理

背景

日志系统接入的日志种类多、格式复杂多样,主流的有以下几种日志:

filebeat采集到的文本日志,格式多样

winbeat采集到的操作系统日志

设备上报到logstash的syslog日志

接入到kafka的业务日志

以上通过各种渠道接入的日志,存在2个主要的问题:

格式不统一、不规范、标准化不够

如何从各类日志中提取出用户关心的指标,挖掘更多的业务价值

为了解决上面2个问题,我们基于flink和drools规则引擎做了实时的日志处理服务。

系统架构

架构比较简单,架构图如下:

各类日志都是通过kafka汇总,做日志中转。

flink消费kafka的数据,同时通过API调用拉取drools规则引擎&#

本内容不代表本网观点和政治立场,如有侵犯你的权益请联系我们处理。
网友评论
网友评论仅供其表达个人看法,并不表明网站立场。