如何在 Apache NiFi 中配置 putHDFS 处理器,以便我可以通过网络将文件从本地机器传输到 HDFS?

How to configure putHDFS processor in Apache NiFi such that I could transfer file from a local machine to HDFS over the network?

我的本地 windows 机器 上的 文件中有数据。本地机器上有 Apache NiFi 运行。我想使用 NiFi 通过网络将此文件发送到 HDFS。我如何在本地计算机上的 NiFi 中配置 putHDFS 处理器,以便我可以通过网络将数据发送到 HDFS

谢谢!

您需要将 core-site.xml 和 hdfs-site.xml 从您的一个 hadoop 节点复制到 NiFi 所在的机器 运行。然后配置PutHDFS,使配置资源为“/path/to/core-site.xml,/path/to/hdfs-site.xml”。从 NiFi 的角度来看,这就是所需的全部内容,这些文件包含连接到 Hadoop 集群所需的所有信息。

您还需要确保 NiFi 运行 所在的机器可以通过网络访问 Hadoop 集群中的所有机器。您可以查看这些配置文件并找到任何主机名和 IP 地址,并确保可以从 NiFi 运行.

所在的机器访问它们

使用 GetFile 处理器或 ListFile/FetchFile 的组合,可以将此文件从本地磁盘导入 NiFi 并将其传递到 PutHDFS 处理器。 PutHDFS 处理器依赖于其配置中相关的 core-site.xml 和 hdfs-site.xml 文件。