Yarn 上的 Spark Streaming 中的 Beam GroupByKey
Beam GroupByKey in Spark Streaming on Yarn
我目前正在尝试 运行 在 spark 运行ner 上使用窗口和 groupbykey 传输管道。
在本地,它完全可以工作,
但在 yarn 模式下,它似乎根本不会在 GroupByKey.create()
之后触发窗格(没有最终的 hbase 突变)。
分组前的所有ParDos成功记录消息(从kafka获取)。
带默认触发器的窗口化策略:
Window.<String>into(FixedWindows.of(Duration.standardMinutes(WINDOW_SIZE_MIN)))
我也试过在处理时间触发。
是否有人对 spark 运行ner 2.0.0 中当前对此的支持有任何见解?
目前 2.0.0 中存在一个错误,在集群模式下 Spark runner 中基于水印的触发器导致它们永远不会触发。它应该在 2.0.1 https://issues.apache.org/jira/browse/BEAM-2359
中修复
我目前正在尝试 运行 在 spark 运行ner 上使用窗口和 groupbykey 传输管道。
在本地,它完全可以工作,
但在 yarn 模式下,它似乎根本不会在 GroupByKey.create()
之后触发窗格(没有最终的 hbase 突变)。
分组前的所有ParDos成功记录消息(从kafka获取)。
带默认触发器的窗口化策略:
Window.<String>into(FixedWindows.of(Duration.standardMinutes(WINDOW_SIZE_MIN)))
我也试过在处理时间触发。
是否有人对 spark 运行ner 2.0.0 中当前对此的支持有任何见解?
目前 2.0.0 中存在一个错误,在集群模式下 Spark runner 中基于水印的触发器导致它们永远不会触发。它应该在 2.0.1 https://issues.apache.org/jira/browse/BEAM-2359
中修复