使用 spark-submit 从 scala 二进制文件启动的跟踪和 log/debug 纱线应用程序

Question

我正在尝试设计一个集成测试框架。我将运行ning 一些罐子，它们是用 Scala 和运行 Spark 进程用 spark-submit --master yarn 命令编写的。有没有什么办法可以在运行使用这个 jar 时提交一些 id 或一些名称，这将帮助我找到哪个 yarn 进程被哪个 jar 调用，以便更容易调试？

编辑：我无法在 scala 中编辑代码，这是我唯一能做的事运行我环境中的 jars。

Answer 1

您可以使用 spark-submit 选项 --name [spark_job_name] 为您的 spark_job 命名，然后轻松识别他。

Answer 2

您可以通过应用名称查看Spark提交的yarn应用

一个。使用应用程序名称参数提交 Spark 应用程序。

SparkSession.builder.appName("spark-app-name")......

b。使用 appname 检查 Yarn 应用程序 ID。

yarn application -list | awk ' == "spark-app-name" {print }'

c。获得应用程序 ID 后，您可以使用 Yarn REST API:

检查 Yarn 应用程序的状态

http://<RM_HOST>:8088/ws/v1/cluster/apps/$job_id/state

使用 spark-submit 从 scala 二进制文件启动的跟踪和 log/debug 纱线应用程序

Track and log/debug yarn apllication which have been started from a scala binary using spark-submit

debugging

hadoop

scala

hadoop-yarn

apache-spark