AWS Batch 在阵列配置中仅允许 32 个并发作业
AWS Batch permits only 32 concurrent jobs in array configuration
我正在 运行进行一些 AI 实验,这些实验需要多个并行 运行 以加快进程。
我已经构建了一个容器并将其推送到 ECR,我正在尝试使用数组大小为 35 的 AWS Batch 运行 它。但是只有 32 个立即启动,而最后三个作业仍在RUNNABLE 状态,直到一项作业完成后才开始。
出于节省成本的原因,我运行使用 1 个 vcpu 和 8GB RAM 使用 Fargate Spot。
我查看了文档,但在 Fargate、ECS 和 AWS Batch 中都没有关于大小(最大似乎是 10k)的服务配额限制可以增加。
可能是什么原因?
我的错。该限制实际上强加在与作业关联的计算环境中。
我自己回答希望以后能帮助到别人。
我正在 运行进行一些 AI 实验,这些实验需要多个并行 运行 以加快进程。
我已经构建了一个容器并将其推送到 ECR,我正在尝试使用数组大小为 35 的 AWS Batch 运行 它。但是只有 32 个立即启动,而最后三个作业仍在RUNNABLE 状态,直到一项作业完成后才开始。
出于节省成本的原因,我运行使用 1 个 vcpu 和 8GB RAM 使用 Fargate Spot。
我查看了文档,但在 Fargate、ECS 和 AWS Batch 中都没有关于大小(最大似乎是 10k)的服务配额限制可以增加。
可能是什么原因?
我的错。该限制实际上强加在与作业关联的计算环境中。
我自己回答希望以后能帮助到别人。