flume 在 HDFS 中更新数据时出错

Question

我需要 运行 flume 在不属于 HDFS 数据节点或名称节点的单独机器中，它必须从 Kafka 读取数据并将其存储在 HDFS 运行宁在一个单独的集群。可以吗？我收到与 hadoop jar 文件相关的错误。

Answer 1

Apache Flume 需要 Hadoop jar 用于 HDFS Sink，因为您正在从 kafka 读取数据并存储回 HDFS.

请在类路径中添加所有hadoop相关的jar，然后重新运行。