运行 UI 中未显示 spark 作业
Running spark job not shown in the UI
我已经提交了此处提到的 spark 作业 bin/spark-submit --class DataSet BasicSparkJob-assembly-1.0.jar
,但没有提及 --master
参数或 spark.master
参数。而不是该作业被提交到我的 3 节点 spark 集群。但我想知道它在哪里提交了作业,因为它没有在 Running Applications
中显示任何信息
Spark 可能 运行 在您的开发机器上处于本地模式。
如果您不在 --master
或 spark.master
中设置 master,Spark 将在本地 运行。
您仍然可以查看您的工作进度。默认情况下,UI 将在 http://localhost:4040
上的 运行 期间可用。
当您的作业完成时,此 UI 将被终止并且您无法查看应用程序的历史记录,除非您配置了 Spark 历史记录服务器
我已经提交了此处提到的 spark 作业 bin/spark-submit --class DataSet BasicSparkJob-assembly-1.0.jar
,但没有提及 --master
参数或 spark.master
参数。而不是该作业被提交到我的 3 节点 spark 集群。但我想知道它在哪里提交了作业,因为它没有在 Running Applications
Spark 可能 运行 在您的开发机器上处于本地模式。
如果您不在 --master
或 spark.master
中设置 master,Spark 将在本地 运行。
您仍然可以查看您的工作进度。默认情况下,UI 将在 http://localhost:4040
上的 运行 期间可用。
当您的作业完成时,此 UI 将被终止并且您无法查看应用程序的历史记录,除非您配置了 Spark 历史记录服务器