Python 如何将两台计算机连接到 H2O 集群
How to connect two computers to an H2O cluster in Python
我有两台计算机要连接到一个 H2O 集群。一个有4个核心,另一个有6个。当我运行
h2o.init(ip = '10.0.0.89', port = 54321)
在第一台计算机上,我得到以下输出:
H2O cluster uptime: 1 minutes 56 seconds 846 milliseconds
H2O cluster version: 3.8.2.3
H2O cluster name: H2O_started_from_python_samerens_dii030
H2O cluster total nodes: 1
H2O cluster total free memory: 3.4 GB
H2O cluster total cores: 4
H2O cluster allowed cores: 4
H2O cluster healthy: True
H2O Connection ip: 10.0.0.89
H2O Connection port: 54321
H2O Connection proxy: None
Python Version: 3.7.4
当我 运行 在第二台计算机上执行相同的命令时,我得到相同的输出(当然正常运行时间除外)。节点总数不应该增加到 2 个,核心总数增加到 10 个吗?我做错了什么吗?
您目前正在做的是在一台机器上启动 H2O 集群,然后从另一台机器连接到它(这是您希望两个用户访问同一个 H2O 集群以共享 data/models).
您要做的是启动一个 multi-node H2O 集群。目前尚不清楚这是否会加快您的训练速度,因为当您使用 multi-node 集群时会产生通信开销,因此最好检查一下。如果您要添加更多的内核,例如40 + 40 总共 80 个核心,我希望在大多数情况下可以加快速度,但是将 4 增加到 6 可能帮助不大(我只是想强调在 6 核心单核上测试训练速度很好机器集群 vs 10 核 multi-core 集群)。 H2O 用户指南 here. There is also an FAQ about H2O clusters here 中有相关说明。如果文档不够清楚,请告诉我(我注意到 examples/information 上的内容有点稀疏)。
最后,如果您特别想使用 Amazon EC2 进行集群,可以了解更多信息 here。
我有两台计算机要连接到一个 H2O 集群。一个有4个核心,另一个有6个。当我运行
h2o.init(ip = '10.0.0.89', port = 54321)
在第一台计算机上,我得到以下输出:
H2O cluster uptime: 1 minutes 56 seconds 846 milliseconds
H2O cluster version: 3.8.2.3
H2O cluster name: H2O_started_from_python_samerens_dii030
H2O cluster total nodes: 1
H2O cluster total free memory: 3.4 GB
H2O cluster total cores: 4
H2O cluster allowed cores: 4
H2O cluster healthy: True
H2O Connection ip: 10.0.0.89
H2O Connection port: 54321
H2O Connection proxy: None
Python Version: 3.7.4
当我 运行 在第二台计算机上执行相同的命令时,我得到相同的输出(当然正常运行时间除外)。节点总数不应该增加到 2 个,核心总数增加到 10 个吗?我做错了什么吗?
您目前正在做的是在一台机器上启动 H2O 集群,然后从另一台机器连接到它(这是您希望两个用户访问同一个 H2O 集群以共享 data/models).
您要做的是启动一个 multi-node H2O 集群。目前尚不清楚这是否会加快您的训练速度,因为当您使用 multi-node 集群时会产生通信开销,因此最好检查一下。如果您要添加更多的内核,例如40 + 40 总共 80 个核心,我希望在大多数情况下可以加快速度,但是将 4 增加到 6 可能帮助不大(我只是想强调在 6 核心单核上测试训练速度很好机器集群 vs 10 核 multi-core 集群)。 H2O 用户指南 here. There is also an FAQ about H2O clusters here 中有相关说明。如果文档不够清楚,请告诉我(我注意到 examples/information 上的内容有点稀疏)。
最后,如果您特别想使用 Amazon EC2 进行集群,可以了解更多信息 here。