AWS Glue DPU 配置

AWS Glue DPU configurations

我看到 DPU 由 4 个 vCPU 和 16 GB 内存组成。是否可以更改 vCPU、内存的此设置,以便我不会 运行 超出 DPU 或超过 DPU 限制。

我认为一个 Dev Endpoint 最多有 5 个 DPU,一个帐户最多有 2 个 DEV Endpoint?

此致

尤瓦

目前无法配置 DPU 内存,但您可以在您的帐户上申请 limit increase 以便能够使用更多 DPU。

截至 2019 年 4 月,有两种新型工人:

You can now specify a worker type for Apache Spark jobs in AWS Glue for memory intensive workloads.

Previously, all Apache Spark jobs in AWS Glue ran with a standard configuration of 1 Data Processing Unit (DPU) per worker node and 2 Apache Spark executors per node. You can now pick from two new configurations, G.1X and G.2X, that provide more memory per executor.

https://aws.amazon.com/about-aws/whats-new/2019/04/aws-glue-now-supports-additional-configuration-options-for-memory-intensive-jobs/