Oozie 堆栈跟踪
Oozie stack trace
我正在尝试按照
中的建议使用 Spark 的 SparkSubmit Java class 将 Spark 作业提交给 Oozie
但 Java 操作失败并显示错误消息
Main class [org.apache.oozie.action.hadoop.JavaMain], exit code [1]
有什么方法可以访问执行错误日志/堆栈跟踪，以便我可以看到到底发生了什么？任何评论/回答表示赞赏。
要获取 java 操作日志，您可以使用 oozie 的 Web 控制台查找该操作的 hadoop 作业 ID。然后使用 Hadoop 的 Yarn WebUI 查看该 hadoop 作业的映射器日志。
使用命令行界面，上述步骤为：
运行 oozie cmd 获取 hadoop job id:
oozie job -info <your job id here>
并在输出中查找 "External Id"，例如：job_200904281535_0254
运行 yarn cmd 获取hadoop作业日志：
yarn logs -applicationId <your app id here>
job id中的"job"替换为"application"即可获取app id，如application_200904281535_0254
我正在尝试按照
中的建议使用 Spark 的 SparkSubmit Java class 将 Spark 作业提交给 OozieMain class [org.apache.oozie.action.hadoop.JavaMain], exit code [1]
有什么方法可以访问执行错误日志/堆栈跟踪，以便我可以看到到底发生了什么？任何评论/回答表示赞赏。
要获取 java 操作日志，您可以使用 oozie 的 Web 控制台查找该操作的 hadoop 作业 ID。然后使用 Hadoop 的 Yarn WebUI 查看该 hadoop 作业的映射器日志。
使用命令行界面，上述步骤为：
运行 oozie cmd 获取 hadoop job id:
oozie job -info <your job id here>并在输出中查找 "External Id"，例如：job_200904281535_0254
运行 yarn cmd 获取hadoop作业日志：
yarn logs -applicationId <your app id here>job id中的"job"替换为"application"即可获取app id，如application_200904281535_0254