为什么在 hadoop 上使用 H2O 时在 Yarn 中看不到具体的任务执行?
Why can't I see specific task execution in Yarn while using H2O on hadoop?
我运行根据官方要求在纱线上的H2O:
http://h2o-release.s3.amazonaws.com/h2o/rel-wolpert/11/index.html
这是我的命令:
cd ~/opt/h2o-3.18.0.8-hdp2.6
hadoop jar h2odriver.jar -nodes 1 -mapperXmx 6g -output /user/spark/h2o-3_output
h2o 集群运行成功。
但是我运行在h2o-flow中的example flow之后,并没有看到任何与GBM算法相关的计算,只有H2O本身。
我想我会看到类似 this.This 的结果是使用 RapidMiner 的决策树流程图的结果,它展示了每个特定的任务。
您看到的是 H2O 的预期行为。
H2O 仅使用 YARN 将 H2O 工作节点的容器获取到 运行。一旦这些容器启动,H2O 就有 CPU 和内存资源可以工作,并且不再与 YARN 交互。所以 YARN 资源管理器知道 H2O 已启动,如您所见,但不知道任何细节。
要查看详细信息,请转到 H2O Flow Web UI(如上面输出中 "Open H2O Flow" 消息中的指示)。 Admin->Jobs 菜单项显示您正在寻找的内容。
我运行根据官方要求在纱线上的H2O:
http://h2o-release.s3.amazonaws.com/h2o/rel-wolpert/11/index.html
这是我的命令:
cd ~/opt/h2o-3.18.0.8-hdp2.6
hadoop jar h2odriver.jar -nodes 1 -mapperXmx 6g -output /user/spark/h2o-3_output
h2o 集群运行成功。
但是我运行在h2o-flow中的example flow之后,并没有看到任何与GBM算法相关的计算,只有H2O本身。
我想我会看到类似 this.This 的结果是使用 RapidMiner 的决策树流程图的结果,它展示了每个特定的任务。
您看到的是 H2O 的预期行为。
H2O 仅使用 YARN 将 H2O 工作节点的容器获取到 运行。一旦这些容器启动,H2O 就有 CPU 和内存资源可以工作,并且不再与 YARN 交互。所以 YARN 资源管理器知道 H2O 已启动,如您所见,但不知道任何细节。
要查看详细信息,请转到 H2O Flow Web UI(如上面输出中 "Open H2O Flow" 消息中的指示)。 Admin->Jobs 菜单项显示您正在寻找的内容。