将 Apache NiFi 添加到现有的 Hortonworks HDP 集群

Adding Apache NiFi to existing Hortonworks HDP Cluster

我有一个 6 节点集群 运行 Hortonworks HDP 2.5.3 和 Ambari 2.4.2.0

我想在此集群上安装 Apache NiFi。当查看 documentation 时,以下行跳入我的眼帘:

1.1. Interoperability Requirements

You cannot install HDF on a system where HDP is already installed.

我想知道如何在我的集群上安装 NiFi。如果可能的话,我也想用 Ambari 来管理它。

我是否应该继续安装独立版本的 NiFi 并将端口更改为 Ambari 使用的 8080 以外的端口?问题是我必须在每个节点上安装它,而且这个过程不是自动的。

目前您只能将一个堆栈安装到给定的 Ambari 实例中,并且有一个不包括 NiFi 的 HDP 堆栈和一个包括 NiFi、Kafka、Storm 和 Ranger 的 HDF 堆栈。因此,您需要第二个 Ambari 实例,您可以在其中安装 HDF 堆栈。您也不能在两个 Ambaris 之间共享节点,因为一个节点上只能有一个 Ambari 代理 运行。

未来的 Ambari 版本中可能会有增强功能来改善这种情况,但目前如果您仅限于使用 6 个 HDP 节点,那么您将不得不 install/manage NiFi 手动使用 RPM 或 TAR.

从 HDP 2.6.1 开始,可以在 HDP 集群上安装 HDF 组件。参见 https://docs.hortonworks.com/HDPDocuments/HDF3/HDF-3.0.1.1/bk_installing-hdf-and-hdp/content/ch_install-ambari.html

从最新的HDP 3.0开始,可以加入HDF 3.2,与NiFi协同工作