Flink根据时间window和进程抓取消息
Flink capture messages based on time window and process
我想用flink来计算和处理消息。这里 flink 正在从 kafka 读取数据,我的要求是我在时间范围内读取和处理数据。
例如
12:00 到 12:30 之间的消息,
12:30 到 1:00 之间的消息..等等,
我是 flink 的新手,你能指导或建议任何帮助吗,关于这个的文档
谢谢
此页面解释了开窗:https://ci.apache.org/projects/flink/flink-docs-release-1.2/dev/windows.html
具体来说,它看起来像这样(作为示例):
val windowing: DataStream[(**,**,...)] = data
.keyBy(?)
.timeWindow(Time.minutes(30))
.map ( // your mapping )
.reduce ( // your reduce function here )
我想用flink来计算和处理消息。这里 flink 正在从 kafka 读取数据,我的要求是我在时间范围内读取和处理数据。 例如
12:00 到 12:30 之间的消息,
12:30 到 1:00 之间的消息..等等,
我是 flink 的新手,你能指导或建议任何帮助吗,关于这个的文档
谢谢
此页面解释了开窗:https://ci.apache.org/projects/flink/flink-docs-release-1.2/dev/windows.html
具体来说,它看起来像这样(作为示例):
val windowing: DataStream[(**,**,...)] = data
.keyBy(?)
.timeWindow(Time.minutes(30))
.map ( // your mapping )
.reduce ( // your reduce function here )