Flink中AllowedLateness是什么
这篇文章给大家分享的是有关Flink中AllowedLateness是什么的内容。小编觉得挺实用的,因此分享给大家做个参考,一起跟随小编过来看看吧。
站在用户的角度思考问题,与客户深入沟通,找到汉源网站设计与汉源网站推广的解决方案,凭借多年的经验,让设计与互联网技术结合,创造个性化、用户体验好的作品,建站类型包括:成都网站制作、成都网站设计、企业官网、英文网站、手机端网站、网站推广、国际域名空间、虚拟主机、企业邮箱。业务覆盖汉源地区。
Flink AllowedLateness
allowedLateness是Flink window中用来容忍一段时间迟到数据的,对allowedLateness最容易的误解是它等同于将watermark减去或者说推迟一段时间,通过推迟窗口触发来容忍一定时间的迟到数据。事实上allowedLateness并不会推迟窗口的触发时间,它改变的是窗口的清除时间(cleanupTime)。下面是org.apache.flink.streaming.runtime.operators.windowing.WindowOperator的cleanupTime和registerCleanupTimer,这2个方法表明了allowedLateness影响窗口的清除:
/** * Returns the cleanup time for a window, which is * {@code window.maxTimestamp + allowedLateness}. In * case this leads to a value greater than {@link Long#MAX_VALUE} * then a cleanup time of {@link Long#MAX_VALUE} is * returned. * * @param window the window whose cleanup time we are computing. */ private long cleanupTime(W window) { if (windowAssigner.isEventTime()) { long cleanupTime = window.maxTimestamp() + allowedLateness; return cleanupTime >= window.maxTimestamp() ? cleanupTime : Long.MAX_VALUE; } else { return window.maxTimestamp(); } } /** * Registers a timer to cleanup the content of the window. * @param window * the window whose state to discard */ protected void registerCleanupTimer(W window) { long cleanupTime = cleanupTime(window); if (cleanupTime == Long.MAX_VALUE) { // don't set a GC timer for "end of time" return; } if (windowAssigner.isEventTime()) { triggerContext.registerEventTimeTimer(cleanupTime); } else { triggerContext.registerProcessingTimeTimer(cleanupTime); } }
也就是说allowedLateness改变的是窗口的清除时间,watermark触发窗口计算后窗口没有立马被清除而是等待allowedLateness后再清除,在这期间收到该窗口迟到数据时都会触发一次窗口计算。如下图,小圆表示窗口中的元素,watermark达到窗口endTime时会触发一次窗口计算,迟到的小圆还会分别触发一次窗口计算。
感谢各位的阅读!关于“Flink中AllowedLateness是什么”这篇文章就分享到这里了,希望以上内容可以对大家有一定的帮助,让大家可以学到更多知识,如果觉得文章不错,可以把它分享出去让更多的人看到吧!
文章名称:Flink中AllowedLateness是什么
URL分享:http://azwzsj.com/article/pppdhh.html