无法在 Spark-1.2.0 上部署工作人员
Not able to deploy workers on Spark-1.2.0
我是 spark 的新手，在 hadoop 2.4.1 中使用 spark-1.2.0。我已经设置了主节点和四个从节点。但是我的两个节点没有启动。
我已经在 spark-1.2.0/conf/ 目录的 slaves 文件中定义了节点的 IP 地址。
但是当我尝试 运行 ./sbin/start-all.sh 时，错误如下：
failed to launch org.apache.spark.deploy.worker.Worker
could not find or load main class org.apache.spark.deploy.worker.Worker
这发生在两个节点上。其他两个工作正常。
我还在主机和从机中设置了 spark-env.sh。主人也有无密码的 ssh connectiviy 到奴隶。
我也试过 ./bin/spark-class org.apache.spark.deploy.worker.Worker spark://IP:PORT
它给出了与之前相同的错误。有人可以帮我弄这个吗。我哪里做错了？
所以我想出了解决办法。对于所有刚开始使用 spark 的人，请检查 lib 文件夹中的所有 jar 文件。我的奴隶 spark-assembly-1.2.0-hadoop2.4.0.jar 文件丢失了。
我也遇到了同样的问题。如果这是 localmode 集群设置，那么您可以 运行 代替：
./sbin/start-master.sh
./sbin/start-slave.sh spark://localhost:7077
然后运行:
MASTER=spark://localhost:7077 ./bin/pyspark
我能够在 shell 上执行我的工作。
请记住按照此处设置 conf/slaves 和 conf/spark-env.sh：
http://pulasthisupun.blogspot.com/2013/11/how-to-set-up-apache-spark-cluster-in.html
同时将 localhost 更改为您的 hostname。
我是 spark 的新手，在 hadoop 2.4.1 中使用 spark-1.2.0。我已经设置了主节点和四个从节点。但是我的两个节点没有启动。
我已经在 spark-1.2.0/conf/ 目录的 slaves 文件中定义了节点的 IP 地址。
但是当我尝试 运行 ./sbin/start-all.sh 时，错误如下：
failed to launch org.apache.spark.deploy.worker.Worker
could not find or load main class org.apache.spark.deploy.worker.Worker
这发生在两个节点上。其他两个工作正常。
我还在主机和从机中设置了 spark-env.sh。主人也有无密码的 ssh connectiviy 到奴隶。
我也试过 ./bin/spark-class org.apache.spark.deploy.worker.Worker spark://IP:PORT
它给出了与之前相同的错误。有人可以帮我弄这个吗。我哪里做错了？
所以我想出了解决办法。对于所有刚开始使用 spark 的人，请检查 lib 文件夹中的所有 jar 文件。我的奴隶 spark-assembly-1.2.0-hadoop2.4.0.jar 文件丢失了。
我也遇到了同样的问题。如果这是 localmode 集群设置，那么您可以 运行 代替：
./sbin/start-master.sh
./sbin/start-slave.sh spark://localhost:7077
然后运行:
MASTER=spark://localhost:7077 ./bin/pyspark
我能够在 shell 上执行我的工作。
请记住按照此处设置 conf/slaves 和 conf/spark-env.sh： http://pulasthisupun.blogspot.com/2013/11/how-to-set-up-apache-spark-cluster-in.html
同时将 localhost 更改为您的 hostname。