AWS Glue 中 1 个 DPU 的最大并发任务数
Maximum number of concurrent tasks in 1 DPU in AWS Glue
AWS Glue 中的标准 DPU 带有 4 个 vCPU 和 2 个执行器。
我对可以与此配置并行的最大并发任务数感到困惑 运行 。在具有 4 个 vcpu 和 2 个执行程序的单个 DPU 上是 4 个还是 8 个？
我与 AWS Glue 支持团队就此进行了类似的讨论，我将与您分享他们告诉我的有关 Glue 配置的内容。以标准和 G1.X 配置为例。
标准 DPU 配置：
- 1个DPU为主节点预留
- 1 个执行器保留给 Driver/ApplicationMaster
- 每个DPU配置2个executor
- 每个执行器配置5.5GB内存
- 每个执行器配置4核
G.1X WorkerType 配置：
- 为主节点添加了 1 个 DPU
- 1 个 DPU 保留给 Driver/ApplicationMaster
- 每个worker配置1个executor
- 每个执行器配置10GB内存
- 每个执行器配置8核
例如，如果我们有一个带有 21 DPU 的标准配置的作业，则意味着我们有：
- 1 个 DPU 保留给 Master
- 20 个 DPU x 2 = 40 个执行器
- 40 个执行者 - 1 Driver/AM = 39 个执行者
然后我们最终得到总共 156 个核心。也就是说，您的作业有 156 个执行槽。例如，如果您从 S3 读取文件，这意味着您将能够并行接受 156 个输入文件。
希望对您有所帮助。
AWS Glue 中的标准 DPU 带有 4 个 vCPU 和 2 个执行器。 我对可以与此配置并行的最大并发任务数感到困惑 运行 。在具有 4 个 vcpu 和 2 个执行程序的单个 DPU 上是 4 个还是 8 个？
我与 AWS Glue 支持团队就此进行了类似的讨论，我将与您分享他们告诉我的有关 Glue 配置的内容。以标准和 G1.X 配置为例。
标准 DPU 配置：
- 1个DPU为主节点预留
- 1 个执行器保留给 Driver/ApplicationMaster
- 每个DPU配置2个executor
- 每个执行器配置5.5GB内存
- 每个执行器配置4核
G.1X WorkerType 配置：
- 为主节点添加了 1 个 DPU
- 1 个 DPU 保留给 Driver/ApplicationMaster
- 每个worker配置1个executor
- 每个执行器配置10GB内存
- 每个执行器配置8核
例如，如果我们有一个带有 21 DPU 的标准配置的作业，则意味着我们有：
- 1 个 DPU 保留给 Master
- 20 个 DPU x 2 = 40 个执行器
- 40 个执行者 - 1 Driver/AM = 39 个执行者
然后我们最终得到总共 156 个核心。也就是说，您的作业有 156 个执行槽。例如，如果您从 S3 读取文件，这意味着您将能够并行接受 156 个输入文件。
希望对您有所帮助。