如何调试 aws glue pyspark 作业

Question

我有一个 aws glue pyspark 作业，它在某个命令之后很长 运行。在日志中，它在该命令之后没有写任何东西，甚至是一个简单的“print hello”语句。 我如何调试 aws glue pyspark 作业，它很长 运行，甚至不写日志。作业没有抛出任何错误，它在控制台中显示 运行 状态

Answer 1

AWS Glue 基于 Apache Spark，这意味着在调用操作之前不会有任何实际执行。因此，如果您在两者之间放置打印语句并在日志中看到它们，这并不意味着您的作业已执行到该点。由于您的工作很长 运行 检查 this article by AWS which explains about Debugging Demanding Stages and Straggler Tasks. Also this 是一个值得一看的好博客。