在不同硬件机器的 VM 之间安装 hadoop 集群

Installing a hadoop cluster between VMs in different hardware machines

我负责向一群人(假设是 5 个人)教授 Hadoop,但没有任何可用的硬件。

他们每个人都有一台笔记本电脑,内存和处理器都很好。

我想让他们在自己的笔记本电脑之间创建一个 Hadoop 集群,这些笔记本电脑将连接到同一网络。

到目前为止,我想到的是:

但是,我有一些锁:

1/ 是否可以创建位于不同机器上的虚拟机的专用网络,以便 hadoop 集群与链接物理机器的网络隔离?

2/ 这种方法有什么问题?

3/ 是否有更好的方法来处理在不同个人机器之间设置 Hadoop 集群的需要?

顺便说一下,我对 Hadoop 安装等非常满意...

在此先感谢您的帮助、建议...

is it possible to create a private network of VMs located on their different machines

是的,公司一直在使用 VM 集群这样做。诚然,这些公司的人员在进行此类网络设置方面具有多年经验,并且对防火墙和路由表有一定的深入了解

so that the hadoop cluster is isolated from the network that links the physical machines?

不是没有连接所有机器的特定子网。不过,我猜每台笔记本电脑都共享同一个路由器,并且每台设备都有一个在主机和 VM 之间共享的网络接口,因此创建它可能很困难。

What could be wrong with this approach?

您需要指定至少一台机器作为 "master" - namenode 和 ResourceManager。没有这台机器,什么都做不了。更好的方法是使用 HA 部署,但你会依赖 "two people"

Is there a better way for handling this need of setting a Hadoop cluster

使用免费的 tier/credit AWS、Azure 或 GCP 来设置集群。它可以从 2-3 个节点开始,而不是 5