我想读取位于不同服务器上的 flume 中的日志文件

Question

我想从 flume 中的不同服务器读取日志文件，该文件已启动，而运行在一些不同的服务器上......所以这样做我怎样才能实现这个通过改变我的 flume-conf.properties 文件......我应该在 flume 的配置文件中写什么来实现这个。 ..

a1.sources = AspectJ
a1.channels = memoryChannel
a1.sinks = kafkaSink
a1.sources.AspectJ.type = com.flume.MySource
a1.sources.AspectJ.command = tail -F /tmp/data/Log.txt

为了实现这个我应该写什么来代替 a1.sources.AspectJ.command = tail -F /tmp/data/Log.txt

Answer 1

我相信您想问的是，如果 Flume 设置在主机 'F' 上并且您的日志文件存在于主机 'L' 上，您将如何配置 flume 从主机 'L' 读取日志文件，正确吗？

如果是这样，那么您需要在主机 'L' 而不是 'F' 上设置 Flume。在日志文件所在的同一主机上设置 flume，并将 Sink 设置为指向 Kafka 主题。

我想读取位于不同服务器上的 flume 中的日志文件

I want to read a log file in flume which is on the different server

hadoop

flume