水位线(watermark)

watermark(水位线)简介

问题:基于processTime 做一些处理的时候,比如统计,1分钟内 如果处理过快,那统计就不准确。

01 什么是水位线

watermark是一种衡量EventTime进展的机制,它是数据本身的一个隐藏属性.

什么含义呢,表示水位线时间的数据都已经到达了.

02 watermark有什么用?

watermark是用于处理乱序事件的,而正确的处理乱序事件,通常用watermark机制结合window来实现。

03 watermark如何分配?

第一种可以定义一个最大允许乱序的时间,这种情况应用较多。

速度收藏!看完这份知识图谱,才算搞懂 Flink!

Flink-Table-&-SQL

基于 Flink 构建 CEP 引擎的挑战和实践

Flink-cep 动态改变规则案例