Oozie:为什么错误日志显示在 mapreduce 作业中,而不是 Spark 作业中?

Oozie: why error log shows in mapreduce job, not in Spark job?

我提交了一个 oozie 工作流,它是一个 shell 操作,它调用 spark-submit 到 运行 一个 Spring 启动应用程序,它是一个 jar 文件.它 运行 在客户端模式下运行在 yarn 上。

但是,我发现所有 Spring 日志都在 oozie mapreduce 作业中的 yarn 中,而不是在 Spark 作业本身中。我不明白为什么?

oozie shell 操作只不过是一个地图作业。默认情况下,您的 spark 作业将所有日志打印到控制台(从它所在的位置 运行)。鉴于该 spark 作业是从 oozie 操作中提交的,因此在 shell 操作日志中整理并显示日志。