如何使用 flume 在两个 directories/locations 之间进行数据流传输？

Question

如何使用flume在两个目录之间进行数据流传输？

spool_dir.sources = src-1
spool_dir.channels = channel-1
spool_dir.sinks = sink-1

#来源

spool_dir.sources.src-1.type = spooldir
spool_dir.sources.src-1.channels = channel-1
spool_dir.sources.src-1.spoolDir = /usr/lib/flume/source

#sink

spool_dir.sinks.sink-1.type = spooldir
spool_dir.sinks.sink-1.channels = channel-1
spool_dir.sinks.sink-1.spoolDir = /usr/lib/flume/sink

#将source和sink绑定到channel

spool_dir.sources.src-1.channels = channel-1
spool_dir.sinks.sink-1.channel = channel-1

Answer 1

我理解你的问题是你想监控进入一个文件夹的文件并将它们复制到另一个文件夹，如果是这样的话那么你的源看起来不错但是用于接收器 file_Roll，而不是假脱机目录。

a1.channels = c1
a1.sinks = k1
a1.sinks.k1.type = file_roll
a1.sinks.k1.channel = c1
a1.sinks.k1.sink.directory = /var/log/flume

基本上在Flume Source 和 Sink 是不同的接口，所以你必须选择 spool 作为 source 说我想监控特定目录，但我想使用其中一个 sink 写入文件或 hdfs ，因此没有线轴接收器，而是 file_roll 接收器，它可能适合您，也可能不适合您。但是选择 flume 接收器之一作为目标 http://flume.apache.org/FlumeUserGuide.html#flume-sinks

如何使用 flume 在两个 directories/locations 之间进行数据流传输？

how to use flume for data streaming between two directories/locations?

flume

flume-ng