Yarn 显示作业已成功,但 EMR 显示步骤仍在 运行

Yarn shows the jobs is succeeded but the EMR shows the step is still running

Yarn 显示作业已成功(在 Yarn UI 中)但 EMR 显示步骤(在 EMR 控制台 UI 中)仍然是 运行 并且它永远显示为 tat。任何想法 ? 我正在将 s3 作为 json 部分文件写入,我在驱动程序日志中看到了这一点:

Caused by: java.io.IOException: File already exists:s3n:

但驱动程序仍然 运行 但 yarn 显示成功。

我 运行 遇到了同样的问题,其中 s3 告诉我该文件已经存在并且作业正在按预期完成。首先,不要使用s3n://,而是使用s3://,如this issue中所推荐的那样。

为了摆脱 IOException,我启用了 EMRFS consistent view,推荐用于 "clusters that run quick, sequential steps using Amazon S3 as a data store",这是我的情况。 YMMV.