Spark 无法在 yarn 集群模式下 运行
Spark not able to run in yarn cluster mode
我正在尝试在 yarn 集群上执行我的代码
我使用的命令是
$SPARK_HOME/bin/spark-submit \
--class "MyApp" \
target/scala-2.10/my-application_2.10-1.0.jar \
--master yarn-cluster \
--num-executors 3 \
--driver-memory 6g \
--executor-memory 7g \
<outputPath>
但是，我可以看到这个程序 运行 只在本地主机上。
它能够从 hdfs 读取文件。
我已经在独立模式下试过了，效果很好。
请指出哪里出错了。
我正在使用 Hadoop2.4 和 Spark 1.1.0。我能够在集群模式下得到它运行。
为了解决这个问题，我们简单地删除了所有从属节点的所有配置文件。早些时候我们 运行 处于独立模式，这导致在所有从站上复制配置。完成后，它 运行 就像在集群模式下预期的那样。虽然性能比不上单机模式
谢谢。
我正在尝试在 yarn 集群上执行我的代码
我使用的命令是
$SPARK_HOME/bin/spark-submit \
--class "MyApp" \
target/scala-2.10/my-application_2.10-1.0.jar \
--master yarn-cluster \
--num-executors 3 \
--driver-memory 6g \
--executor-memory 7g \
<outputPath>
但是，我可以看到这个程序 运行 只在本地主机上。
它能够从 hdfs 读取文件。
我已经在独立模式下试过了，效果很好。
请指出哪里出错了。
我正在使用 Hadoop2.4 和 Spark 1.1.0。我能够在集群模式下得到它运行。
为了解决这个问题，我们简单地删除了所有从属节点的所有配置文件。早些时候我们 运行 处于独立模式，这导致在所有从站上复制配置。完成后，它 运行 就像在集群模式下预期的那样。虽然性能比不上单机模式
谢谢。