在不同硬件机器的 VM 之间安装 hadoop 集群
Installing a hadoop cluster between VMs in different hardware machines
我负责向一群人(假设是 5 个人)教授 Hadoop,但没有任何可用的硬件。
他们每个人都有一台笔记本电脑,内存和处理器都很好。
我想让他们在自己的笔记本电脑之间创建一个 Hadoop 集群,这些笔记本电脑将连接到同一网络。
到目前为止,我想到的是:
- 创建一个预配置 ubuntu 16(ubuntu 16 是我的选择)的 VM 映像,以准备成为集群节点
- 让他们每个人都运行他们计算机上的虚拟机
- 在此 VM 网络之上创建集群
但是,我有一些锁:
1/ 是否可以创建位于不同机器上的虚拟机的专用网络,以便 hadoop 集群与链接物理机器的网络隔离?
2/ 这种方法有什么问题?
3/ 是否有更好的方法来处理在不同个人机器之间设置 Hadoop 集群的需要?
顺便说一下,我对 Hadoop 安装等非常满意...
在此先感谢您的帮助、建议...
is it possible to create a private network of VMs located on their different machines
是的,公司一直在使用 VM 集群这样做。诚然,这些公司的人员在进行此类网络设置方面具有多年经验,并且对防火墙和路由表有一定的深入了解
so that the hadoop cluster is isolated from the network that links the physical machines?
不是没有连接所有机器的特定子网。不过,我猜每台笔记本电脑都共享同一个路由器,并且每台设备都有一个在主机和 VM 之间共享的网络接口,因此创建它可能很困难。
What could be wrong with this approach?
您需要指定至少一台机器作为 "master" - namenode 和 ResourceManager。没有这台机器,什么都做不了。更好的方法是使用 HA 部署,但你会依赖 "two people"
Is there a better way for handling this need of setting a Hadoop cluster
使用免费的 tier/credit AWS、Azure 或 GCP 来设置集群。它可以从 2-3 个节点开始,而不是 5
我负责向一群人(假设是 5 个人)教授 Hadoop,但没有任何可用的硬件。
他们每个人都有一台笔记本电脑,内存和处理器都很好。
我想让他们在自己的笔记本电脑之间创建一个 Hadoop 集群,这些笔记本电脑将连接到同一网络。
到目前为止,我想到的是:
- 创建一个预配置 ubuntu 16(ubuntu 16 是我的选择)的 VM 映像,以准备成为集群节点
- 让他们每个人都运行他们计算机上的虚拟机
- 在此 VM 网络之上创建集群
但是,我有一些锁:
1/ 是否可以创建位于不同机器上的虚拟机的专用网络,以便 hadoop 集群与链接物理机器的网络隔离?
2/ 这种方法有什么问题?
3/ 是否有更好的方法来处理在不同个人机器之间设置 Hadoop 集群的需要?
顺便说一下,我对 Hadoop 安装等非常满意...
在此先感谢您的帮助、建议...
is it possible to create a private network of VMs located on their different machines
是的,公司一直在使用 VM 集群这样做。诚然,这些公司的人员在进行此类网络设置方面具有多年经验,并且对防火墙和路由表有一定的深入了解
so that the hadoop cluster is isolated from the network that links the physical machines?
不是没有连接所有机器的特定子网。不过,我猜每台笔记本电脑都共享同一个路由器,并且每台设备都有一个在主机和 VM 之间共享的网络接口,因此创建它可能很困难。
What could be wrong with this approach?
您需要指定至少一台机器作为 "master" - namenode 和 ResourceManager。没有这台机器,什么都做不了。更好的方法是使用 HA 部署,但你会依赖 "two people"
Is there a better way for handling this need of setting a Hadoop cluster
使用免费的 tier/credit AWS、Azure 或 GCP 来设置集群。它可以从 2-3 个节点开始,而不是 5