在 Luigi Orchestrator 中并行化任务
parallelizing tasks in Luigi Orchestrator
我定义了三个任务T1、T2和T3，然后定义了一个任务T4如下：
class T4(luigi.Task)
def requires(self):
return [T1(), T2(), T3()]
有没有一种自然的方式告诉 Luigi 我希望并行执行这些任务 T1、T2 和 T3？
这取决于 T1、T2 和 T3 具有哪些依赖项。如果他们没有其他任务作为共同依赖项，您可以 运行 您的任务指定 --workers=3 和 Luigi will run each task in a separate worker。
我定义了三个任务T1、T2和T3，然后定义了一个任务T4如下：
class T4(luigi.Task)
def requires(self):
return [T1(), T2(), T3()]
有没有一种自然的方式告诉 Luigi 我希望并行执行这些任务 T1、T2 和 T3？
这取决于 T1、T2 和 T3 具有哪些依赖项。如果他们没有其他任务作为共同依赖项，您可以 运行 您的任务指定 --workers=3 和 Luigi will run each task in a separate worker。