ambari-agent 不再能够联系位于 http://<dom>:8440 的服务器？

Question

我们目前运行 Hortonworks 2.6.5.0:

$ hadoop version
Hadoop 2.7.3.2.6.5.0-292
Subversion git@github.com:hortonworks/hadoop.git -r 3091053c59a62c82d82c9f778c48bde5ef0a89a1
Compiled by jenkins on 2018-05-11T07:53Z
Compiled with protoc 2.5.0
From source with checksum abed71da5bc89062f6f6711179f2058
This command was run using /usr/hdp/2.6.5.0-292/hadoop/hadoop-common-2.7.3.2.6.5.0-292.jar

OS是分OS7:

$ cat /etc/redhat-release
CentOS Linux release 7.5.1804 (Core)

我们最近开始在 ambari-agent 的日志文件中注意到这些问题：

$ grep -i "error|warn" /var/log/ambari-agent/*
/var/log/ambari-agent/ambari-agent.log:WARNING 2018-07-30 14:03:50,982 NetUtil.py:124 - Server at https://hbase26-2.mydom.com:8440 is not reachable, sleeping for 10 seconds...
/var/log/ambari-agent/ambari-agent.log:ERROR 2018-07-30 14:04:00,986 NetUtil.py:96 - EOF occurred in violation of protocol (_ssl.c:579)
/var/log/ambari-agent/ambari-agent.log:ERROR 2018-07-30 14:04:00,990 NetUtil.py:97 - SSLError: Failed to connect. Please check openssl library versions.
/var/log/ambari-agent/ambari-agent.log:WARNING 2018-07-30 14:04:00,990 NetUtil.py:124 - Server at https://hbase26-2.aa.mydom.com:8440 is not reachable, sleeping for 10 seconds...
/var/log/ambari-agent/ambari-agent.log:ERROR 2018-07-30 14:04:10,993 NetUtil.py:96 - EOF occurred in violation of protocol (_ssl.c:579)
/var/log/ambari-agent/ambari-agent.log:ERROR 2018-07-30 14:04:10,994 NetUtil.py:97 - SSLError: Failed to connect. Please check openssl library versions.
/var/log/ambari-agent/ambari-agent.log:WARNING 2018-07-30 14:04:10,994 NetUtil.py:124 - Server at https://hbase26-2.aa.mydom.com:8440 is not reachable, sleeping for 10 seconds...
/var/log/ambari-agent/ambari-agent.log:ERROR 2018-07-30 14:04:20,996 NetUtil.py:96 - EOF occurred in violation of protocol (_ssl.c:579)
/var/log/ambari-agent/ambari-agent.log:ERROR 2018-07-30 14:04:20,997 NetUtil.py:97 - SSLError: Failed to connect. Please check openssl library versions.

当这些开始发生时，我们无法再通过 Ambari 管理 Hadoop 集群的任何方面。所有的服务都显示了黄色的小问号并表示"heartbeat lost"。

多次重启将不允许我们恢复 Ambari，并最终重新控制我们的集群。

Answer 1

这个问题原来是由于服务器在尝试连接到端口 8440 上的 CA 服务时无法处理 TLSv1.1 证书造成的。

我们注意到该服务实际上是运行:

$ netstat -tapn|grep 8440
tcp        0      0 0.0.0.0:8440            0.0.0.0:*               LISTEN      1203/java

但是 curl 对此会失败，除非我们通过 --insecure 开关禁用 TLS 检查。这是我们的第一个线索，它似乎与 TLS 有关。

进一步的调查使我们找到了 NetUtil.py（Ambari 的一部分），这似乎没问题。其他线索包括：

$ cat /etc/ambari-agent/conf/ambari-agent.ini
...
[security]
ssl_verify_cert = 0
...

还有这个：

$ grep -E '\[https|verify' /etc/python/cert-verification.cfg
[https]
#verify=platform_default
verify=disable

None 其中有效。最终起作用的是 Forcing ambari-agent to use TLSv1.2 vs. TLS1.1:

$ grep -E "\[security|force" /etc/ambari-agent/conf/ambari-agent.ini
[security]
force_https_protocol=PROTOCOL_TLSv1_2

然后重新启动，ambari-agent restart。

我能够使用散布在 Internet 上的一缕缕提示将这一切拼凑在一起。我把它放在这里是希望它能帮助任何其他在他们的 Hadoop/Hortonworks 集群上发生这种情况的可怜人。

参考资料

为什么会这样？

进一步 debugging/digging 我发现这个标题为：Disabling TLSv1 & TLS1.1 - Enabling TLSv1.2 的帖子。您现在必须将 Ambari 代理配置为使用 TLSv1.2。

ambari-agent 不再能够联系位于 http://<dom>:8440 的服务器？

ambari-agent no longer able to contact server at http://<dom>:8440?

hadoop

hortonworks-data-platform

ambari

参考资料

为什么会这样？