主节点如何启动hadoop集群中的所有进程?
How does master node start all the process in a hadoop cluster?
我已经使用普通 Hadoop 设置了一个包含 5 个虚拟机的 Hadoop 集群。集群详情如下:
192.168.1.100 - 配置为 运行 NameNode 和 SNN 守护进程
192.168.1.101 - 配置为 运行 ResourceManager 守护程序。
192.168.1.102 - 配置为 运行 DataNode 和 NodeManager 守护进程。
192.168.1.103 - 配置为 运行 DataNode 和 NodeManager 守护进程。
192.168.1.104 - 配置为 运行 DataNode 和 NodeManager 守护程序。
我在每个虚拟服务器中都保留了主从文件。
大师们:
192.168.1.100
192.168.1.101
奴隶文件:
192.168.1.102
192.168.1.103
192.168.1.104
现在当我从 NameNode
机器上 运行 start-all.sh
命令时,它是如何启动所有守护进程的?我无法理解吗?没有安装适配器(或者我不知道),所有机器中都存在简单的 hadoop jar 那么 NameNode
机器如何能够启动所有机器(虚拟服务器)中的所有守护进程。
谁能帮我理解一下?
namenode 通过SSH 连接到slave 并运行slave 服务。
这就是为什么你需要 public ssh-keys in ~/.ssh/authorized_keys
on the slaves,让他们的私有副本出现在用户 运行 Hadoop namenode 上。
我已经使用普通 Hadoop 设置了一个包含 5 个虚拟机的 Hadoop 集群。集群详情如下:
192.168.1.100 - 配置为 运行 NameNode 和 SNN 守护进程
192.168.1.101 - 配置为 运行 ResourceManager 守护程序。
192.168.1.102 - 配置为 运行 DataNode 和 NodeManager 守护进程。
192.168.1.103 - 配置为 运行 DataNode 和 NodeManager 守护进程。
192.168.1.104 - 配置为 运行 DataNode 和 NodeManager 守护程序。
我在每个虚拟服务器中都保留了主从文件。
大师们:
192.168.1.100
192.168.1.101
奴隶文件:
192.168.1.102
192.168.1.103
192.168.1.104
现在当我从 NameNode
机器上 运行 start-all.sh
命令时,它是如何启动所有守护进程的?我无法理解吗?没有安装适配器(或者我不知道),所有机器中都存在简单的 hadoop jar 那么 NameNode
机器如何能够启动所有机器(虚拟服务器)中的所有守护进程。
谁能帮我理解一下?
namenode 通过SSH 连接到slave 并运行slave 服务。
这就是为什么你需要 public ssh-keys in ~/.ssh/authorized_keys
on the slaves,让他们的私有副本出现在用户 运行 Hadoop namenode 上。