Mesos 上具有不同内存量的 Spark 执行程序

Question

是否可以在 Mesos 集群上使用不同内存量的执行器？还是我受限于内存最少的机器？ （假设我想使用所有可用的 CPU）。

Answer 1

简答：没有

不幸的是，Spark Mesos 和 YARN 只允许为每台机器提供与您的 最差机器有（discussion）。理想情况下，集群应该是同构的，以便充分利用其资源。

但是，可能存在针对您的问题的解决方法。根据上面的链接源，Spark standalone 允许在某些机器上创建多个 worker。您可以修改您的 worker 配置以适合 最差 机器，并在这些机器上启动多个 worker。

例如，给定两台分别具有 4G 和 20G 内存的计算机，您可以在后者上创建 5 个 worker，每个配置为仅使用 4G 内存，这与第一台计算机的限制相同。