AWS Glue python shell 作业因内部服务错误而失败
AWS Glue python shell Job fails with Internal Service error
我是 运行 AWS Glue 中的一个 python shell 程序,但在 运行 大约 10 分钟后它失败并出现错误 内部服务错误。日志或错误日志不提供任何信息。大多数情况下,它只是说 Internal service error
就失败了,很少会运行 2 天并超时。该代码使用 pandas 进行转换,它看起来不错,它在本地机器上运行良好,已完成必要的更改以便它在 AWS 胶水上工作[其中它 read/write 文件到 s3 位置而不是本地文件夹]。这里有什么问题?欢迎任何意见。
这个问题已经解决了。问题是由于对 s3 存储桶的访问问题,作业无法下载依赖的 python 库。一旦访问问题得到解决,工作就开始了 运行 很好。
我是 运行 AWS Glue 中的一个 python shell 程序,但在 运行 大约 10 分钟后它失败并出现错误 内部服务错误。日志或错误日志不提供任何信息。大多数情况下,它只是说 Internal service error
就失败了,很少会运行 2 天并超时。该代码使用 pandas 进行转换,它看起来不错,它在本地机器上运行良好,已完成必要的更改以便它在 AWS 胶水上工作[其中它 read/write 文件到 s3 位置而不是本地文件夹]。这里有什么问题?欢迎任何意见。
这个问题已经解决了。问题是由于对 s3 存储桶的访问问题,作业无法下载依赖的 python 库。一旦访问问题得到解决,工作就开始了 运行 很好。