运行 UI 中未显示 spark 作业

Running spark job not shown in the UI

我已经提交了此处提到的 spark 作业 bin/spark-submit --class DataSet BasicSparkJob-assembly-1.0.jar,但没有提及 --master 参数或 spark.master 参数。而不是该作业被提交到我的 3 节点 spark 集群。但我想知道它在哪里提交了作业,因为它没有在 Running Applications

中显示任何信息

Spark 可能 运行 在您的开发机器上处于本地模式。

如果您不在 --masterspark.master 中设置 master,Spark 将在本地 运行。

您仍然可以查看您的工作进度。默认情况下,UI 将在 http://localhost:4040 上的 运行 期间可用。

当您的作业完成时,此 UI 将被终止并且您无法查看应用程序的历史记录,除非您配置了 Spark 历史记录服务器