H2o 不工作的执行者数量

Question

我使用以下命令启动 sparkling-shell。

./bin/sparkling-shell --num-executors 4 --executor-memory 4g --master yarn-client

我只有两个遗嘱执行人。这是 H2o 问题、YARN 问题还是 Spark 问题？

迈克

Answer 1

我通过在cloudera manager中更改以下四个值解决了这个问题

Setting                                  Value
yarn.scheduler.maximum-allocation-vcores 8  
yarn.nodemanager.resource.cpu-vcores     4 
yarn.nodemanager.resource.cpu-vcores     4 
yarn.scheduler.maximum-allocation-mb     16 GB

Answer 2

这种行为可能有多种原因。

YARN 只能根据可用资源（内存、vcores）为您提供执行程序的数量。如果你要求更多，那么你就有资源，它会给你最大的。

启用动态分配也可能是这种情况。这意味着 Spark 将在需要时创建新的执行程序。

为了解决 Sparkling Water 中的一些技术问题，我们需要在应用程序启动时通过创建人工计算并尝试利用整个集群来发现所有可用的执行器。这也可能会减少执行者的数量。

我建议查看 https://github.com/h2oai/sparkling-water/blob/master/doc/tutorials/backends.rst，您可以在其中阅读有关上述段落的更多信息以及如何使用所谓的外部苏打水后端解决该问题。

你也可以在这里看看https://github.com/h2oai/sparkling-water/blob/master/doc/configuration/internal_backend_tuning.rst。这是用于调整配置的 Sparkling Water 指南。

库巴

H2o 不工作的执行者数量

H2o Number of Executors not working

hadoop

apache-spark

h2o

sparkling-water