限制 AWS Data Pipeline 上的并发执行

Limit concurrent executions on AWS Data Pipeline

有没有办法限制 AWS Data Pipeline 上的并发执行?我们需要将同时执行限制为 1.

Oozie 与 <concurrency> 属性 有什么相似之处?

来自 oozie 文档:

并发性:此作业可以同时进行的最大操作数 运行。该值允许具体化和提交协调器应用程序的多个实例,并允许操作赶上延迟处理。默认值为 1 .

您可以使用 EC2Resource / EmrCluster 下的 maxActiveInstances 字段来实现此目的。

参考文献 -

https://docs.aws.amazon.com/datapipeline/latest/DeveloperGuide/dp-object-emrcluster.html

https://docs.aws.amazon.com/datapipeline/latest/DeveloperGuide/dp-object-ec2resource.html