AWS GLUE 作业延迟
AWS GLUE job latency
如何在将输出文件上传到 S3 时减少胶水作业的延迟。我正在尝试将输出文件加载到 s3 存储桶我的工作需要 6 分钟来上传文件并且文件仅包含 9000 条记录
谁能帮我把时间减到最少
上传文件到 S3 的时间是 6 分钟还是一个工作的全部时间 运行？
如果是第二种情况，AWS Glue 可能不是您的解决方案。因为 Glue 每次作业 运行s 时都会从头开始设置 Spark 集群。
您可以尝试将 DPU 的数量减少到最少 2 个实例。它将减少作业 运行.
时需要部署的计算实例的数量
如何在将输出文件上传到 S3 时减少胶水作业的延迟。我正在尝试将输出文件加载到 s3 存储桶我的工作需要 6 分钟来上传文件并且文件仅包含 9000 条记录 谁能帮我把时间减到最少
上传文件到 S3 的时间是 6 分钟还是一个工作的全部时间 运行？
如果是第二种情况，AWS Glue 可能不是您的解决方案。因为 Glue 每次作业 运行s 时都会从头开始设置 Spark 集群。 您可以尝试将 DPU 的数量减少到最少 2 个实例。它将减少作业 运行.
时需要部署的计算实例的数量