数据流作业暂停 "Processing lull"
Dataflow job halts with "Processing lull"
运行 使用会话 windows 具有相当高级组的流式数据流管道 运行 我 运行 在 运行 宁了几个小时后遇到了问题。
工作在工人中扩大,但后来开始使用以下
加载日志
Processing lull for PT7500.005S in state process of ...
记录此代码的转换就在 "group by" 块之后,并执行对外部服务的异步 HTTP 调用(使用 scala.concurrent.{Await/Promise}
)。
知道为什么会这样吗?与异步、缩放或按策略分组有关?
- 职位编号:2018-01-29_03_13_40-12789475517328084866
- SDK:适用于 Java 2.2.0
的 Apache Beam SDK
- Scio 版本: 0.4.7
@jkff 给我指出了正确的方向。
第一步是为 scala future 添加超时——这告诉我 "Processing lull" 实际上是永不终止的承诺,因此迫使数据流将它们保持在 "forever" 附近。现在我得到了正确的未来超时错误,但无济于事,因为工作仍然没有进行。现在更改为同步调用,但我发现吞吐量要低得多
运行 使用会话 windows 具有相当高级组的流式数据流管道 运行 我 运行 在 运行 宁了几个小时后遇到了问题。 工作在工人中扩大,但后来开始使用以下
加载日志Processing lull for PT7500.005S in state process of ...
记录此代码的转换就在 "group by" 块之后,并执行对外部服务的异步 HTTP 调用(使用 scala.concurrent.{Await/Promise}
)。
知道为什么会这样吗?与异步、缩放或按策略分组有关?
- 职位编号:2018-01-29_03_13_40-12789475517328084866
- SDK:适用于 Java 2.2.0 的 Apache Beam SDK
- Scio 版本: 0.4.7
@jkff