Apache Beam:跳过已构建管道中的步骤

Apache Beam: Skipping steps in an already-constructed pipeline

有没有办法在已经构建的管道中有条件地跳过步骤?或者管道构造是否设计为控制哪些步骤是 运行 的唯一方法?

通常,管道构造控制将执行管道中的哪些转换。

但是,您可以想象一个单输入多输出 ParDo 将输入 PCollection 多路复用到输出 PCollection 之一。然后,通过选择将数据传递到哪个输出,您可以动态控制执行哪些步骤——没有任何输入的步骤可能不会执行 and/or 它们的执行可能无关紧要。

相关特征是 "parameterized pipelines" 或 "template pipelines"。这是我们非常感兴趣并正在积极努力的事情。