本地机器中的 Spark 运行 而不是独立集群

Spark running in local machine instead of standalone cluster

我在 ec2 上创建了一个 spark 集群,之后,我在主节点上安装了 Jupyter 并启动了 jupyter,之后我使用

创建了 sparkcontext
findspark.init(spark_home='/home/ubuntu/spark')
import pyspark
from functools import partial
sc = pyspark.SparkContext(appName="Pi")

当我尝试 运行 任何工作时,spark 仅利用主机的核心,所有从机都 运行ning 并连接到主机,但我仍然无法使用任何从机的内核,请任何人帮助。

您需要在创建您的 SparkContext

时将主 url 设置为 spark://...