Oozie:为什么错误日志显示在 mapreduce 作业中,而不是 Spark 作业中?
Oozie: why error log shows in mapreduce job, not in Spark job?
我提交了一个 oozie 工作流,它是一个 shell 操作,它调用 spark-submit
到 运行 一个 Spring 启动应用程序,它是一个 jar
文件.它 运行 在客户端模式下运行在 yarn 上。
但是,我发现所有 Spring 日志都在 oozie mapreduce 作业中的 yarn 中,而不是在 Spark 作业本身中。我不明白为什么?
oozie shell 操作只不过是一个地图作业。默认情况下,您的 spark 作业将所有日志打印到控制台(从它所在的位置 运行)。鉴于该 spark 作业是从 oozie 操作中提交的,因此在 shell 操作日志中整理并显示日志。
我提交了一个 oozie 工作流,它是一个 shell 操作,它调用 spark-submit
到 运行 一个 Spring 启动应用程序,它是一个 jar
文件.它 运行 在客户端模式下运行在 yarn 上。
但是,我发现所有 Spring 日志都在 oozie mapreduce 作业中的 yarn 中,而不是在 Spark 作业本身中。我不明白为什么?
oozie shell 操作只不过是一个地图作业。默认情况下,您的 spark 作业将所有日志打印到控制台(从它所在的位置 运行)。鉴于该 spark 作业是从 oozie 操作中提交的,因此在 shell 操作日志中整理并显示日志。