运行 独立的 `PythonScriptStep` 并行步骤
Run independent `PythonScriptStep` steps in parallel
在我的管道中,多个步骤是独立的,因此我希望它们根据输入依赖性并行 运行。
由于我使用的计算有多个节点,我原以为这是默认设置。
例如:
上面的所有 3 个步骤应该 运行 并行,然后 finetune
两个步骤在输入满足后立即并行,rgb_test
.
也是如此
目前只有1步运行s,其他都是Queued
.
我同意这很奇怪!您确定您的计算目标的 max_nodes
至少为 3 吗?
最终是因为 vCPU 配额。
增加配额后,并行任务可以按预期同时运行。
在我的管道中,多个步骤是独立的,因此我希望它们根据输入依赖性并行 运行。
由于我使用的计算有多个节点,我原以为这是默认设置。
例如:
上面的所有 3 个步骤应该 运行 并行,然后 finetune
两个步骤在输入满足后立即并行,rgb_test
.
目前只有1步运行s,其他都是Queued
.
我同意这很奇怪!您确定您的计算目标的 max_nodes
至少为 3 吗?
最终是因为 vCPU 配额。
增加配额后,并行任务可以按预期同时运行。