如何使用 Cloudera Manager 在单个节点上运行多个 Flume 代理？

Question

我已经在我的 CDH5.8.0 集群上安装了 Flume。 flume 代理位于 Flume 任务运行的单个节点上。我使用 linux 终端 ro 运行通过 flume 和单独的配置文件进行两次单独的数据摄取。

我想通过 Cloudera Manager 监控两个摄取过程。虽然 CM 中的 flume 配置面板提供了添加自定义 conf 属性的选项，但那是针对单个 flume 代理的。

我无法在同一主机上通过 CM 添加另一个 flume 代理。如何使用 Cloudera Manager 监控两个摄取过程？

Answer 1

如果您只能监控一个 Flume 代理，我认为您可以将两个代理配置文件合并为一个，以便运行一个 Flume 代理（您可以监控的那个）。

您可以根据需要声明任意数量的源、通道和接收器：

a1.sources = r1 r2
a1.sinks = k1 k2
a1.channels = c1 c2

然后适当地绑定它们：

a1.sources.r1.channels = c1
a1.sources.r2.channels = c2
...
a1.sinks.k1.channel = c1
a1.sinks.k2.channel = c2

How to run multiple Flume agents on a single node with Cloudera Manager?