hadoop 新版本 - HDP-2.6.3.0 失败，因为不必要的 repo 文件

Question

我们正在尝试在我们的 redhat 机器（redhat 7.3 版本）上安装新的 hadoop 版本 HDP 版本作为临时安装

HDP-2.6.3.0-centos7-rpm.tar.gz
ambari-2.6.0.0-centos7.tar.gz

在安装新的 HDP 版本之前，我们当前的 HDP 存储库是（在 /etc/yum.repo.d 下）

所以关于我们已经存在 HDP 存储库，我们假设 hadoop 安装将使用此存储库进行安装

out HDP repo 示例（master02 是 ambari 服务器机器）

more HDP.repo
[HDP-2.6]
name=HDP-2.6
baseurl=http://master02.sys56.com/HDP/centos7/2.6.3.0-235

path=/
enabled=1
gpgcheck=0

但是在安装HDP-2.6.3.0（蓝图安装）的过程中，我们看到了很奇怪的东西.....

尽管我们已经有了 HDP 存储库

蓝图安装推送另一个repo文件：（在/etc/yum.rep.d下）

如下：

more ambari-hdp-1.repo ( this repo not created on the previos version )

[HDP-2.6-repo-1]
name=HDP-2.6-repo-1
baseurl=http://public-repo-1.hortonworks.com/HDP/centos7/2.x/updates/2.6.0.3


path=/
enabled=1
gpgcheck=0
[HDP-UTILS-1.1.0.21-repo-1]
name=HDP-UTILS-1.1.0.21-repo-1
baseurl=http://public-repo-1.hortonworks.com/HDP-UTILS-1.1.0.21/repos/centos7


path=/
enabled=1
gpgcheck=0

问题是为什么？

我问这个是因为这个新的 repo 破坏了蓝图安装

Answer 1

TLDR;

在安装包之前，您需要更改 hdp.repo 文件中的存储库信息以匹配新 Ambari 文件的存储库信息。您可以保留自定义 baseurl，但存储库 ID 需要与新文件匹配。

长版：

Ambari Blueprint 和 Hortonworks 存储库文件之间存在不一致。 Ambari Blueprint 正在使用以下文件来设置其存储库：http://public-repo-1.hortonworks.com/HDP/centos6/2.x/updates/2.6.3.0/HDP-2.6.3.0-235.xml

$ curl -sS http://public-repo-1.hortonworks.com/HDP/centos6/2.x/updates/2.6.3.0/HDP-2.6.3.0-235.xml | grep "repoid" <repoid>HDP-2.6</repoid> <repoid>HDP-UTILS-1.1.0.21</repoid>

Ambari 在查找目标系统上的存储库之前自动将 -repo-1 添加到 repoid，因此我们得到：

HDP-2.6-repo-1
HDP-UTILS-1.1.0.21-repo-1

Hortonworks 在此处提供他们自己的 yum 回购文件：http://public-repo-1.hortonworks.com/HDP/centos6/2.x/updates/2.6.3.0/hdp.repo 但存储库 ID 不同：

$ curl -sS http://public-repo-1.hortonworks.com/HDP/centos6/2.x/updates/2.6.3.0/hdp.repo | grep "[][]" [HDP-2.6.3.0] [HDP-UTILS-1.1.0.21]

如果 Ambari 没有找到存储库（它没有找到，因为 ID 不同），那么它会添加它自己的存储库，这会破坏您的设置。

hadoop 新版本 - HDP-2.6.3.0 失败，因为不必要的 repo 文件

hadoop new version - HDP-2.6.3.0 failed because unnecessary repo file

hadoop

hdfs

bigdata

redhat

ambari