如何使用 EMR 让从节点为 Spark 集群工作？
How to make the slave nodes work for Spark cluster using EMR?
我尝试 运行 使用 EMR 在我的 Spark 集群上创建一个作业。集群一主两从，每个节点（主节点或从节点）有32个核心。作业是通过控制台使用"Add Step"，配置如下：
sparkConf.setMaster("local[24]").set("spark.executor.memory", "40g")
.set("spark.driver.memory", "40g");
然后我注意到两个slave没有工作（CPUusage接近0），只有master在努力工作。我该如何解决这个问题并让从站工作？
谢谢！
当您指定 'local' 主控时，这意味着主控是本地的 - 它不分布在节点上。
您应该遵循文档：
http://spark.apache.org/docs/1.2.0/spark-standalone.html
我最近才开始在 EMR 上使用 Spark，但我发现 these examples 对于启动/配置集群和提交 Spark 作业非常有帮助。
我尝试 运行 使用 EMR 在我的 Spark 集群上创建一个作业。集群一主两从，每个节点（主节点或从节点）有32个核心。作业是通过控制台使用"Add Step"，配置如下：
sparkConf.setMaster("local[24]").set("spark.executor.memory", "40g") .set("spark.driver.memory", "40g");
然后我注意到两个slave没有工作（CPUusage接近0），只有master在努力工作。我该如何解决这个问题并让从站工作？
谢谢！
当您指定 'local' 主控时，这意味着主控是本地的 - 它不分布在节点上。
您应该遵循文档： http://spark.apache.org/docs/1.2.0/spark-standalone.html
我最近才开始在 EMR 上使用 Spark，但我发现 these examples 对于启动/配置集群和提交 Spark 作业非常有帮助。