限制 AWS Data Pipeline 上的并发执行
Limit concurrent executions on AWS Data Pipeline
有没有办法限制 AWS Data Pipeline 上的并发执行?我们需要将同时执行限制为 1.
Oozie 与 <concurrency>
属性 有什么相似之处?
来自 oozie 文档:
并发性:此作业可以同时进行的最大操作数 运行。该值允许具体化和提交协调器应用程序的多个实例,并允许操作赶上延迟处理。默认值为 1 .
您可以使用 EC2Resource / EmrCluster 下的 maxActiveInstances 字段来实现此目的。
参考文献 -
https://docs.aws.amazon.com/datapipeline/latest/DeveloperGuide/dp-object-emrcluster.html
https://docs.aws.amazon.com/datapipeline/latest/DeveloperGuide/dp-object-ec2resource.html
有没有办法限制 AWS Data Pipeline 上的并发执行?我们需要将同时执行限制为 1.
Oozie 与 <concurrency>
属性 有什么相似之处?
来自 oozie 文档:
并发性:此作业可以同时进行的最大操作数 运行。该值允许具体化和提交协调器应用程序的多个实例,并允许操作赶上延迟处理。默认值为 1 .
您可以使用 EC2Resource / EmrCluster 下的 maxActiveInstances 字段来实现此目的。
参考文献 -
https://docs.aws.amazon.com/datapipeline/latest/DeveloperGuide/dp-object-emrcluster.html
https://docs.aws.amazon.com/datapipeline/latest/DeveloperGuide/dp-object-ec2resource.html