如何给不同的worker分配不同的内存

Question

我想给spark中一个集群的不同worker分配不同的内存。 在指定 conf 时，我们可以编写 .set("spark.executor.memory", "2g") ，这将为所有相应的工作人员分配 2 GB。但是如何给不同的worker分配不同的内存。

比如我想给一个工人1g，剩下的工人2g。这可能吗？如果是，如何？

Answer 1

可能与 this

重复

1. 似乎无法提供不同的内存限制。
2. 但是文档说，如果您不提供任何约束，那么将使用机器的所有内存。因此，也许如果你有不同的机器，它可以在每台机器上使用不同数量的 RAM

.