100字范文,内容丰富有趣,生活中的好帮手!
100字范文 > 基于Flink计算引擎的流式处理平台Wormhole—关注低延迟和CEP

基于Flink计算引擎的流式处理平台Wormhole—关注低延迟和CEP

时间:2023-08-19 01:21:18

相关推荐

基于Flink计算引擎的流式处理平台Wormhole—关注低延迟和CEP

导读:继Wormhole的设计思想介绍和功能介绍之后,相信大家对Wormhole已经有了初步的了解。7月31日,我们发布了Wormhole_0.5新版本,与以往基于Spark计算引擎的版本相比,该版本新增了基于Flink计算引擎的流式处理功能,主要关注低延迟和CEP。基于Flink计算引擎版本具体内容是什么呢?还请各位看官移步正文~

一、Wormhole Flink版介绍

延迟时间是评判流式处理性能的关键指标之一。Spark 基于弹性分布式数据集(Resilient Distributed Dataset,RDD)进行微批处理,所以Spark在流式处理方面,不可避免会存在一些延时,只支持秒级延迟。Flink基于事件处理,实现了真正的流式计算。与基于Spark的流式处理相比,它的延迟更低。Wormhole通过对Flink计算引擎的支持,将延迟降低到毫秒级。

Wormhole Flink版除了支持Flink SQL,Lookup SQL,新增了对CEP的支持,并且支持三者的混合编排,即一个Flow中可以包含多个Flink SQL,多个Lookup SQL和多个CEP。Flink SQL与Spark SQL用法类似,Spark SQL和Lookup SQL在上一篇Wormhole系列文章中已经介绍过(参考:#Wormhole# 流式处理平台功能介绍),这里将不再赘述,下面我们将重点讲解CEP。

二、CEP(复杂事件处理)简介

在传统DBMS中,所有的操作都只能在数据落库之后才能进行,这极大地降低了事件处理的实时性。与传统DBMS不同,CEP从流式事件中查找匹配指定模式的事件,对流式事件边获取边处理,整个处理过程都在数据流中进行,无需落地,因此它拥有更低的延迟,即所有输入都将被立刻处理,一旦在流式事件中发现了匹配指定模式的事件集,结果就会立即输出。

正因如此,CEP引起了广泛的关注,并得到了大量的应用推广,主要体现在运营和运维两方面。在运营方面,CEP经常被应用于金融产品中,例如,股票市场趋势预测、信用卡诈骗预防等。在运维方面,CEP被用在基于RFID的追踪和监控系统中,例如,检测库房中失窃的物品。当然,CEP也能通过指定嫌疑人的行为,来检测网络入侵。

Wormhole CEP是基于Flink CEP实现的,并且提供了可视化操作界面,无需编码即可快速实现业务需求。Wormhole CEP引入了窗口时间(Window Time),窗口策略(Strategy),分组策略(KeyBy),输出格式(Output),筛选规则(Pattern)等概念。下面,我们逐一介绍这些概念的含义及用途。

Window Time:指在触发了符合Begin Patte

本内容不代表本网观点和政治立场,如有侵犯你的权益请联系我们处理。
网友评论
网友评论仅供其表达个人看法,并不表明网站立场。