pyspark 仅使用一半内存 ec2-spark

Question

我正在使用提供的 spark-ec2 玩转 Spark：

./spark-ec2 \
--key-pair=pems \
--identity-file=/path/pems.pem \
--region=eu-west-1 \
-s 8 \
--instance-type c3.xlarge \
launch my-spark-cluster

安装完成后，我通过 ssh 进入主节点，然后启动 pyspark。

$ /root/spark/bin/pyspark --executor-memory 2G

我指定（至少我认为）每个执行程序（机器）获得 2GB 内存。当我在 <masternode>:4040 浏览控制台时，我发现有些地方不对劲。

当我输入其他首选项时，我得到了类似的结果。

$ /root/spark/bin/pyspark --executor-memory 1G

让我感到困惑的部分是我指定了 c3.xlarge 台机器，这些机器有大约 7.5 Gb 的内存，所以这不应该是内存不足的问题。有人有想法吗？

Answer 1

这里显示的内存是分配给缓存的内存它由 spark.storage.memoryFraction 配置定义，默认值为 .6

pyspark only uses half memory ec2-spark