我可以配置 Google DataFlow 以在排空管道时保持节点正常运行吗

Question

我正在使用 Apache Beam 将管道部署到 Google Cloud DataFlow。当我想将更改部署到管道时，我排空 运行 管道并重新部署它。我想让这个更快。从日志中可以看出，在每次部署时，DataFlow 都会从头开始构建新的工作节点：我看到 Linux 启动消息。

是否可以在不拆除工作节点的情况下排空管道，以便下一次部署可以重用它们？

Answer 1

在此处重写 Inigo 的回答：

回答原问题，不，没有办法。更新应该是要走的路。我不知道它被标记为实验性的（可能我们应该改变它），但更新方法在我使用 DF 的最后 3 年没有改变。关于更新不工作的特殊情况，假设你的功能存在，工作人员仍然需要新代码，所以没有太多可以节省，并且更新应该在大多数其他情况下工作。