尼菲 |使用处理器的流文件移动

Question

我一直在阅读有关 NiFi 的资料，几乎没有疑问。考虑一个用例，我想将数据从本地移动到 HDFS。我将使用 getFile 和 putHDFS 处理器。

因此，当我将位置传递给 getFile 时，它​​将获取数据并将移动到内容存储库中，然后它将进一步传递给 putHDFS 处理器进行摄取。

问题：

1. 我看到流文件内容是字节表示的，字节转换是由Nifi完成的吗？（如果我的源文件是文本文件）？

2. 如何将数据从内容存储库移动到 HDFS？

Answer 1

1) 并没有真正完成转换...GetFile 处理器正在从源文件中读取字节并将字节写入内容存储库中的目标。无论源文件的内容是什么，它在内容存储库中都是相同的。此操作以流方式执行，因此无需将整个文件读入内存即可将大文件移动到内容存储库中。

2) PutHDFS 处理器使用 Apache Hadoop 2.6.2 客户端将内容存储库中的字节流式传输到 HDFS。它类似于从命令行执行 "hdfs put"。