HDP 2.5：Spark History Server UI 不会显示不完整的应用程序
HDP 2.5: Spark History Server UI won't show incomplete applications
我使用 Hortonworks Data Platform 2.5 设置了一个新的 Hadoop 集群。在 "old" 集群（已安装 HDP 2.4）中，我可以通过单击 link [=] 通过历史服务器 UI 查看有关 运行 Spark 作业的信息13=]:
在新安装中，此 link 打开页面，但它始终显示 No incomplete applications found!（当仍有应用程序时 运行）。
我刚刚看到，YARN ResourceManager UI 在 "Tracking UI" 列中显示了两种不同类型的 link，具体取决于 Spark 应用程序的状态：
- 应用运行：应用大师
- 申请完成：历史记录
通过 YARN RM link 我可以看到 运行 Spark 应用程序信息，但为什么我不能通过 Spark History Server UI 访问它们？从 HDP 2.4 到 2.5 有什么变化吗？
我解决了，是网络问题：一些集群主机（Spark slaves）由于交换机配置不正确而无法相互访问。发现了，因为我试图互相 ping 每个主机。
由于所有主机都可以相互 ping 通，问题就解决了，我可以再次在我的 Spark 历史服务器 UI 中看到活动和已完成的作业！
我没有注意到这个问题，因为 ambari-agents 在每台主机上工作，并且 ambari-server 也可以从每台集群主机访问！但是，由于所有主机都可以相互访问，问题就解决了！
我使用 Hortonworks Data Platform 2.5 设置了一个新的 Hadoop 集群。在 "old" 集群（已安装 HDP 2.4）中，我可以通过单击 link [=] 通过历史服务器 UI 查看有关 运行 Spark 作业的信息13=]:
在新安装中，此 link 打开页面，但它始终显示 No incomplete applications found!（当仍有应用程序时 运行）。
我刚刚看到，YARN ResourceManager UI 在 "Tracking UI" 列中显示了两种不同类型的 link，具体取决于 Spark 应用程序的状态：
- 应用运行：应用大师
- 申请完成：历史记录
通过 YARN RM link 我可以看到 运行 Spark 应用程序信息，但为什么我不能通过 Spark History Server UI 访问它们？从 HDP 2.4 到 2.5 有什么变化吗？
我解决了，是网络问题：一些集群主机（Spark slaves）由于交换机配置不正确而无法相互访问。发现了，因为我试图互相 ping 每个主机。
由于所有主机都可以相互 ping 通，问题就解决了，我可以再次在我的 Spark 历史服务器 UI 中看到活动和已完成的作业！
我没有注意到这个问题，因为 ambari-agents 在每台主机上工作，并且 ambari-server 也可以从每台集群主机访问！但是，由于所有主机都可以相互访问，问题就解决了！