Apache Spark 看不到我机器的所有内存
Apache Spark does not see all the ram of my machines
我创建了一个 8 台机器的 Spark 集群。每台机器有 104 GB 的 RAM 和 16 个虚拟核心。
我似乎认为 Spark 每台机器只能看到 42 GB 的 RAM，这是不正确的。你知道为什么 Spark 看不到机器的所有 RAM 吗？
PS : 我正在使用 Apache Spark 1.2
Spark 不会尝试猜测可用内存。执行程序使用的内存与您在 spark.executor.memory 设置中指定的一样多。似乎已设置为 42 GB。
这似乎是一个普遍的误解。显示的是 spark.storage.memoryFraction ：
我创建了一个 8 台机器的 Spark 集群。每台机器有 104 GB 的 RAM 和 16 个虚拟核心。
我似乎认为 Spark 每台机器只能看到 42 GB 的 RAM，这是不正确的。你知道为什么 Spark 看不到机器的所有 RAM 吗？
PS : 我正在使用 Apache Spark 1.2
Spark 不会尝试猜测可用内存。执行程序使用的内存与您在 spark.executor.memory 设置中指定的一样多。似乎已设置为 42 GB。
这似乎是一个普遍的误解。显示的是 spark.storage.memoryFraction ：