AWS Glue Python shell 配置 DPU

AWS Glue Python shell Configuration DPU

当我使用 glue python shell 而不是 glue spark 时,1 dpu 设置会改变吗? 我最近看到一个 post 并且我看到他们在谈论胶水火花,但不是来自 aws glue python shell,这就是为什么我有那个疑问。

根据此 doc 类型 Python shell 的 AWS Glue 作业可以分配 1 个 DPU 或 0.0625 DPU.By 默认值,AWS Glue 分配 0.0625 DPU 到每个 Python shell 工作。

您需要为每 DPU-Hour 支付 0.44 美元,增量为 1 秒,四舍五入到最接近的秒数,每个 Python shell 类型的作业最短持续时间为 1 分钟.

根据 this

,单个 DPU 提供的处理能力由 4 个 vCPU 计算和 16 GB 内存组成

您最多可以提供 1 个 DPU,因为它不需要很多资源,因为不涉及分布式处理。您尝试提供超过 1 个 DPU 并会遇到如下所示的错误: