数据流作业暂停 "Processing lull"

Dataflow job halts with "Processing lull"

运行 使用会话 windows 具有相当高级组的流式数据流管道 运行 我 运行 在 运行 宁了几个小时后遇到了问题。 工作在工人中扩大,但后来开始使用以下

加载日志
Processing lull for PT7500.005S in state process of ...

记录此代码的转换就在 "group by" 块之后,并执行对外部服务的异步 HTTP 调用(使用 scala.concurrent.{Await/Promise})。

知道为什么会这样吗?与异步、缩放或按策略分组有关?

@jkff 给我指出了正确的方向。 第一步是为 scala future 添加超时——这告诉我 "Processing lull" 实际上是永不终止的承诺,因此迫使数据流将它们保持在 "forever" 附近。现在我得到了正确的未来超时错误,但无济于事,因为工作仍然没有进行。现在更改为同步调用,但我发现吞吐量要低得多