AWS Glue DPU 配置
AWS Glue DPU configurations
我看到 DPU 由 4 个 vCPU 和 16 GB 内存组成。是否可以更改 vCPU、内存的此设置,以便我不会 运行 超出 DPU 或超过 DPU 限制。
我认为一个 Dev Endpoint 最多有 5 个 DPU,一个帐户最多有 2 个 DEV Endpoint?
此致
尤瓦
目前无法配置 DPU 内存,但您可以在您的帐户上申请 limit increase 以便能够使用更多 DPU。
截至 2019 年 4 月,有两种新型工人:
You can now specify a worker type for Apache Spark jobs in AWS Glue
for memory intensive workloads.
Previously, all Apache Spark jobs in AWS Glue ran with a standard
configuration of 1 Data Processing Unit (DPU) per worker node and 2
Apache Spark executors per node. You can now pick from two new
configurations, G.1X and G.2X, that provide more memory per executor.
我看到 DPU 由 4 个 vCPU 和 16 GB 内存组成。是否可以更改 vCPU、内存的此设置,以便我不会 运行 超出 DPU 或超过 DPU 限制。
我认为一个 Dev Endpoint 最多有 5 个 DPU,一个帐户最多有 2 个 DEV Endpoint?
此致
尤瓦
目前无法配置 DPU 内存,但您可以在您的帐户上申请 limit increase 以便能够使用更多 DPU。
截至 2019 年 4 月,有两种新型工人:
You can now specify a worker type for Apache Spark jobs in AWS Glue for memory intensive workloads.
Previously, all Apache Spark jobs in AWS Glue ran with a standard configuration of 1 Data Processing Unit (DPU) per worker node and 2 Apache Spark executors per node. You can now pick from two new configurations, G.1X and G.2X, that provide more memory per executor.