运行应用程序未出现 spark web Ui 但运行

Question

我需要你的帮助，我创建了 2 个应用程序（一个使用 spray 框架，另一个从 kafka 接收消息并将其发送到 cassandra）。运行一直都在，永远不会停止。我在服务器上独立运行，我的 conf 是：

- In spark_env.sh :

SPARK_MASTER_IP=MYIP
SPARK_EXECUTOR_CORES=2
SPARK_MASTER_PORT=7077
SPARK_EXECUTOR_MEMORY=4g
#SPARK_WORKER_PORT=65000
MASTER=spark://${SPARK_MASTER_IP}:${SPARK_MASTER_PORT}
SPARK_LOCAL_IP=MYIP
SPARK_MASTER_WEBUI_PORT=8080

- In spark_env.sh :
spark.master                     spark://MYIPMASTER:7077
spark.eventLog.enabled           true
spark.eventLog.dir               /opt/spark-1.6.1-bin-hadoop2.6/spark-events
spark.history.fs.logDirectory    /opt/spark-1.6.1-bin-hadoop2.6/logs
spark.io.compression.codec       lzf
spark.cassandra.connection.host MYIPMASTER
spark.cassandra.auth.username   LOGIN
spark.cassandra.auth.password   PASSWORD

我可以访问两个页面： MYIP:8080/ 和 MYIP:4040/ 但是在 http://MYIP:8080/ 上，我只能看到我的工作人员，我看不到运行ning 我的应用程序。

当我提交时我使用这个：

/opt/spark-1.6.1-bin-hadoop2.6/bin/spark-submit --class MYCLASS --verbose --conf spark.eventLog.enable=true --conf spark.master.ui.port=8080 --master local[2] /opt/spark-1.6.1-bin-hadoop2.6/jars/MYJAR.jar

为什么？你能帮帮我吗？

非常感谢:)

Answer 1

在您的 spark-submit 命令中，您使用 --master 作为 local[2] 提交本地模式下的应用。如果你想运行它在你正在运行ning 的独立集群上，那么你应该在 master 选项中传递 spark master URL 即 --master spark://MYIPMASTER:7077

Answer 2

对于master而言，spark-submit会按照以下命令遵守设置，

你的应用代码中的master URL，也就是 SparkSession.builder().master("...")
spark-submit 命令的 --master 参数
你的默认配置spark-defaults.conf

Answer 3

模式：独立集群

1> bin/spark-submit --class com.deepak.spark.App ../spark-0.0.2-SNAPSHOT.jar --master spark://172.29.44.63:7077, 因为在 jar

之后指定了 master，所以没有工作

2> bin/spark-submit --class com.deepak.spark.App --master spark://172.29.44.63:7077 ../spark -0.0.2-SNAPSHOT.jar，这个有效

运行应用程序未出现 spark web Ui 但运行

Running Applications doesn t appear spark web Ui but runs

scala

webui

apache-spark

cassandra-2.1

运行 应用程序未出现 spark web Ui 但运行

Running Applications doesn t appear spark web Ui but runs

scala

webui

apache-spark

cassandra-2.1

运行应用程序未出现 spark web Ui 但运行