边缘节点上的 Apache Flume 设置说明

Apache Flume setup instruction on edge node

尝试在边缘节点上设置 Flume,我浏览了很多博客,但不太了解,因为大多数博客都指的是单节点集群,有人可以建议设置是个好主意在边缘节点上,或者这将在 HDFS 或任何工作节点设置(数据节点)的服务器上,如果是,那么在边缘节点上设置它的配置是什么。

如果这是生产环境,最好避免使用 NameNode 服务器、Resource Manager 服务器、日志节点和 DataNode。这给你留下了边缘节点。

该过程将是:
1) 安装 Hadoop 客户端。
2) 安装 Flume
3) 在 flume.conf 文件中配置 flume (或者你想给的任何名字)。您可以在线找到许多示例配置。
4) 使监控类型=http 以便快速查看性能数据。
5) 打开 Sources 和 Sinks 的端口。
5) 启动代理。
6) 检查代理日志以查看所有组件已启动。
7) 尝试发送一些示例数据并检查它是否到达目的地。
8) 调试任何故障。

如果您需要更多信息,请告诉我。

正如 Viren 在边缘节点上的生产环境中所建议的那样,您只需要配置 flume,这不是您不能在名称节点服务器上进行的,但我们需要避免性能问题。