如何在ec2上重启单节点hadoop集群

How to restart single node hadoop cluster on ec2

我已经在 Amazon 的 ec2 主机上使用 Hortonworks/Ambari 安装了单节点 hadoop 集群。

因为我不想要这个集群 运行 24/7,所以我在完成后停止实例。当我稍后重新启动实例时,我得到一个新的 IP 地址,然后 ambari 不再能够启动 Hadoop 相关服务。

除了完全重新部署之外,是否还有其他方法可以重新配置集群以便启动服务?

看起来 IP 地址存在于 /etc 下的各种 xml 文件中,在 postgres 数据库 table ambari 中,可能还有其他我还没有找到的地方。

我尝试用我能找到的更新版本的 IP 地址、内部和外部 dns 名称更新 xml 文件和 postgres 数据库,但无济于事。我无法重新启动服务。

我这样做的原因是每次重新启动主机时可能会节省部署时间和 hdfs 上的数据配置以及其他项目特定设置。

有什么建议吗?

谢谢!

可以使用弹性IP。此外,由于您提到它是一个单节点集群 - 您可以使用本地主机或私有 IP。

如果您使用弹性 IP,您的 UI 将始终使用相同的 public IP。但是,如果您使用私有 IP 或本地主机并且不将您的实例与弹性 IP 相关联,则每次启动实例时都必须查找 public IP,然后使用该 IP 连接到网络 UI .

感谢您的帮助,Harman 和 TJ 都正确。我没有使用弹性 IP,因为我可能有不止一个 运行 和一个时间,至少现在,我不介意查找 public IP 地址。

Harman 建议在最初设置 ambari 时使用“localhost”作为 fqdn,回想起来这确实是个好主意。除非我再次完成整个设置,否则这对我来说就是桥下的水,但我向可能阅读这篇文章的其他人推荐这个 post。

就我而言,我是在返回页面之前自行解决的。多亏了奥卡姆剃刀,我采取的具体步骤毕竟非常简单。

我在 /etc/hosts 中添加了以下行: <new internal IP> <old internal dns name> 然后做了 ambari-server restart。从命令行。然后我就可以在登录ambari后重新启动所有服务了。