为什么在 hadoop 上使用 H2O 时在 Yarn 中看不到具体的任务执行?

Why can't I see specific task execution in Yarn while using H2O on hadoop?

我运行根据官方要求在纱线上的H2O:

http://h2o-release.s3.amazonaws.com/h2o/rel-wolpert/11/index.html

这是我的命令:

cd ~/opt/h2o-3.18.0.8-hdp2.6
hadoop jar h2odriver.jar -nodes 1 -mapperXmx 6g -output /user/spark/h2o-3_output

h2o 集群运行成功。

但是我运行在h2o-flow中的example flow之后,并没有看到任何与GBM算法相关的计算,只有H2O本身。

我想我会看到类似 this.This 的结果是使用 RapidMiner 的决策树流程图的结果,它展示了每个特定的任务。

您看到的是 H2O 的预期行为。

H2O 仅使用 YARN 将 H2O 工作节点的容器获取到 运行。一旦这些容器启动,H2O 就有 CPU 和内存资源可以工作,并且不再与 YARN 交互。所以 YARN 资源管理器知道 H2O 已启动,如您所见,但不知道任何细节。

要查看详细信息,请转到 H2O Flow Web UI(如上面输出中 "Open H2O Flow" 消息中的指示)。 Admin->Jobs 菜单项显示您正在寻找的内容。