内存配置对公平调度器真的重要吗？

Question

我们有一个配置了公平调度程序的 hadoop 集群。我们过去常常看到这样的场景，即集群中没有多少作业到 运行，运行ning 作业试图占用尽可能多的可用内存和内核。

对于公平调度程序，执行程序内存和核心对于 spark 作业真的很重要吗？还是取决于公平调度程序来决定给多少？

Answer 1

Fair Scheduler 的政策是分配给它的第一个作业将拥有提供的所有资源。

当我们运行第二份工作时，所有资源将被分成（可用资源）/（工作数量）

现在主要关注的是，您为 运行 作业分配了多少容器内存。如果它等于可用资源的总数，那么你的工作真正使用了所有资源。