AWS 步进并行状态以编排 EMR 作业
AWS steps parallel state to orchestrate EMR jobs
我们正在使用 AWS 步骤编排数据管道，我们确实需要 运行 并行处理 EMR 作业。
我试过使用 Map 状态，它按预期工作。 Map 的唯一问题是，如果一个步骤失败，它也会取消所有其他步骤。为了克服这个问题，我在想我们是否可以创建一个步骤数组并将其动态传递给 parallel state 中的 Branches 但我还没有能够做到这一点，因为它不接受字符串。
是否有解决方法，或者我们只能在 Parallel 状态下硬编码分支？在这种情况下，States.Array() 能以某种方式提供帮助吗？
将内部状态机包装在 one-branch 并行状态中，并向其添加 error/retry 策略。基本上，您想捕获所有错误并确保迭代始终成功。
仅适用于正在尝试寻找所述问题的解决方案的人。正如 Pooya 所建议的，我确实在 Map 中的任务内部使用了 catch 块，而不是将其保留在 map level.The 状态机中，看起来像 this
我们正在使用 AWS 步骤编排数据管道，我们确实需要 运行 并行处理 EMR 作业。 我试过使用 Map 状态，它按预期工作。 Map 的唯一问题是，如果一个步骤失败，它也会取消所有其他步骤。为了克服这个问题，我在想我们是否可以创建一个步骤数组并将其动态传递给 parallel state 中的 Branches 但我还没有能够做到这一点，因为它不接受字符串。 是否有解决方法，或者我们只能在 Parallel 状态下硬编码分支？在这种情况下，States.Array() 能以某种方式提供帮助吗？
将内部状态机包装在 one-branch 并行状态中，并向其添加 error/retry 策略。基本上，您想捕获所有错误并确保迭代始终成功。
仅适用于正在尝试寻找所述问题的解决方案的人。正如 Pooya 所建议的，我确实在 Map 中的任务内部使用了 catch 块，而不是将其保留在 map level.The 状态机中，看起来像 this