com.amazonaws.services.gluejobexecutor.model.InternalServiceException: 要更新的项目大小已超过允许的最大大小
com.amazonaws.services.gluejobexecutor.model.InternalServiceException: Item size to update has exceeded the maximum allowed size
我正在使用 AWS Glue 作为 ETL 作业来转换来自 S3 的数据并使用书签写入另一个 S3 存储桶。
我在计划的作业上收到此意外异常，该作业 运行 直到前一天才出现任何问题：
Traceback (most recent call last):
File "my_script.py", line 123, in <module>
job.commit()
[...]
py4j.protocol.Py4JJavaError: An error occurred while calling z:com.amazonaws.services.glue.util.Job.commit.
: com.amazonaws.services.gluejobexecutor.model.InternalServiceException: Item size to update has exceeded the maximum allowed size
(Service: AmazonDynamoDBv2; Status Code: 400; Error Code: ValidationException; Request ID: /)
(Service: AWSGlueJobExecutor; Status Code: 500; Error Code: InternalServiceException; Request ID: /)
我在错误消息中看到提到了 Dynamo DB，但我根本没有使用此服务（所以我怀疑它在 Glue 内部使用）。
是什么导致了这个异常？
我从 Glue 控制台重置作业书签，问题已解决，作业执行成功
我正在使用 AWS Glue 作为 ETL 作业来转换来自 S3 的数据并使用书签写入另一个 S3 存储桶。
我在计划的作业上收到此意外异常，该作业 运行 直到前一天才出现任何问题：
Traceback (most recent call last):
File "my_script.py", line 123, in <module>
job.commit()
[...]
py4j.protocol.Py4JJavaError: An error occurred while calling z:com.amazonaws.services.glue.util.Job.commit.
: com.amazonaws.services.gluejobexecutor.model.InternalServiceException: Item size to update has exceeded the maximum allowed size
(Service: AmazonDynamoDBv2; Status Code: 400; Error Code: ValidationException; Request ID: /)
(Service: AWSGlueJobExecutor; Status Code: 500; Error Code: InternalServiceException; Request ID: /)
我在错误消息中看到提到了 Dynamo DB，但我根本没有使用此服务（所以我怀疑它在 Glue 内部使用）。
是什么导致了这个异常？
我从 Glue 控制台重置作业书签，问题已解决，作业执行成功