普通 Hadoop 安装与使用 Ambari 的 Hadoop 安装

Plain vanilla Hadoop installation vs Hadoop installation using Ambari

我最近从 Apache 下载了 hadoop 发行版并安装了它 运行 非常快;下载 hadoop tar 球,在某个位置和一些配置设置中取消 tar 它。这里的问题是我能够看到各种配置文件,例如:yarn-site.xml、hdfs-site.xml 等;我知道 hadoop 主页位置。

接下来,我使用 Ambari 安装了 hadoop (HDP)。

混淆的部分来了。 Ambarin 似乎在 /usr/hdp 中安装了 hdp;然而,普通 hadoop 与 Ambari 中的目录结构完全不同。我无法找到配置文件,例如纱线-site.xml等

所以谁能帮我揭开这个神秘面纱?

所有配置更改都必须通过 Ambari UI 完成。配置文件没有用处,因为 Ambari 将配置保存在 Ambari 数据库中。

如果您还需要它们,它们在 /etc/hadoop/conf/ 下。

的确,配置更改必须通过 Ambari UI 进行,并且这些配置存储在数据库中。

为什么需要在 Ambari UI 而不是直接在磁盘上更改这些配置属性?

每次重新启动服务并且它具有陈旧的配置时,ambari-agent 负责将最新的配置写入磁盘。它们被写入 /etc/<service-name>/conf。如果您直接对磁盘上的配置文件进行更改,它们将被上述过程覆盖。

但是在磁盘上找到的配置文件 DO 仍然有用...

配置文件(在磁盘上)在 started/running 时被各种 hadoop 守护进程使用。

基本上是在集群 Hadoop 部署中使用 Ambari UI 的好处。它会给你中央管理点。

例如:

10 个 Hadoop 集群设置。

普通 Hadoop:

  • 如果您更改任何配置,则必须更改 10 个

安巴里 UI :

  • 由于配置存储在数据库中。您只需在管理门户中更改所有更改效果通过单点更改反映在所有节点上。