100字范文,内容丰富有趣,生活中的好帮手!
100字范文 > 大数据_Flink_Java版_状态管理(2)_算子状态---Flink工作笔记0061

大数据_Flink_Java版_状态管理(2)_算子状态---Flink工作笔记0061

时间:2018-12-24 05:41:49

相关推荐

大数据_Flink_Java版_状态管理(2)_算子状态---Flink工作笔记0061

在flink中我们说,对于reduce,map,flatMap等这样的算子,他的状态,只是局限于这个任务的,不可能传输到其他任务对吧,因为我们知道,不同的任务可能在不同的节点上,那么我们知道状态都是存在内存中的,不可能再去传输到别的机器上去,所以,算子任务都是跟算子,以及当前任务绑定的.

如果需要flink来管理状态,那么需要预先注册算子状态.

另外还有个keyed state,这个状态是对keyby以后的数据处理,因为是根据key进行分组的,所以

这里keyedstate都是跟特定的key,相关联的.

然后我们再来看,这个算子状态,可以看到如果一任务有两个子任务,那么每个任务算子的状态都是

隔离的,他们不能相互访问,但是对于同一个子任务而言是共享的.

本内容不代表本网观点和政治立场,如有侵犯你的权益请联系我们处理。
网友评论
网友评论仅供其表达个人看法,并不表明网站立场。