H2O：无法通过 python 连接到 h2o 集群

Question

我有一个 5 节点的 hadoop 集群运行 HDP 2.3.0。我按照 here.

在 Yarn 上设置了一个 H2O 集群

在运行以下命令

hadoop jar h2odriver_hdp2.2.jar water.hadoop.h2odriver -libjars ../h2o.jar -mapperXmx 512m -nodes 3 -output /user/hdfs/H2OTestClusterOutput

我得到以下输出

H2O cluster (3 nodes) is up
(Note: Use the -disown option to exit the driver after cluster formation)
(Press Ctrl-C to kill the cluster)
Blocking until the H2O cluster shuts down...

当我尝试执行命令时

h2o.init(ip="10.113.57.98", port=54321)

进程仍然卡在这个 stage.On 尝试使用 ip:54321 连接到网络 UI，浏览器试图无休止地加载 H2O 管理页面，但没有任何显示。

强制终止 init 进程时出现以下错误

No instance found at ip and port: 10.113.57.98:54321. Trying to start local jar...

但是，如果我尝试将 H2O 与 python 一起使用而不设置 H2O 集群，一切运行良好。

我以 root 用户身份执行了所有命令。 Root 用户有权从 /user/hdfs hdfs 目录读取和写入。

我不确定这是权限错误还是端口不可访问。

如有任何帮助，我们将不胜感激。

Answer 1

您似乎在使用 H2O2（H2O Classic）。我建议将您的 H2O 升级到最新版本 (H2O 3)。这里有一个专门针对 HDP2.3 的构建：http://www.h2o.ai/download/h2o/hadoop

运行 H2O3 也比较干净:

hadoop jar h2odriver.jar -nodes 1 -mapperXmx 6g -output hdfsOutputDirName

此外，每个节点 512mb 很小 - 您的用例是什么？我会给节点更多的内存。

H2O：无法通过 python 连接到 h2o 集群

H2O: unable to connect to h2o cluster through python

h2o