加载 positionFile 失败：在 flume 中使用 TAILDIR Source 时出现错误

Question

我正在 Flume 使用 Flume Source TAILDIR.

将数据从本地目录附加到 HDFS

我的用例是做增量加载如果新行出现在本地目录中的源文件中，那么它将附加到 hdfs 中。

这是我的 Flume 配置文件 :

#configure the agent
agent.sources=r1
agent.channels=k1
agent.sinks=c1

agent.sources.r1.type=TAILDIR
agent.sources.r1.positionFile = /home/flume/Documents/taildir_position.json
agent.sources.r1.filegroups=f1
agent.sources.r1.filegroups.f1=/home/flume/Documents/spooldir/
agent.sources.r1.batchSize = 20
agent.sources.r1.writePosInterval=2000
agent.sources.r1.maxBackoffSleep=5000
agent.sources.r1.fileHeader = true

agent.sources.r1.channels=k1
agent.channels.k1.type=memory
agent.channels.k1.capacity=10000
agent.channels.k1.transactionCapacity=1000   

agent.sinks.c1.type=hdfs
agent.sinks.c1.channel=k1
agent.sinks.c1.hdfs.path=hdfs://localhost:8020/flume_sink
agent.sinks.c1.hdfs.batchSize = 1000
agent.sinks.c1.hdfs.rollSize = 268435456
agent.sinks.c1.hdfs.writeFormat=Text

while 运行 flume 命令：flume-ng agent -n agent -c conf -f /home/swechchha/Documents/flumereal.conf

我遇到错误

我在加载 JSON 文件时遇到错误。

Answer 1

Here 是代码。它在第 110 行崩溃。请确保 flume 用户有权访问该 JSON 文件并且文件格式正确。

Answer 2

问题陈述中提到的Flume.conf有问题。

TAILDIR SOURCE：观察指定的文件，一旦检测到每个文件附加的新行，几乎实时跟踪它们。如果正在写入新行，此源将重试读取它们以等待写入完成。

虽然写入文件组属性目录可能包含多个文件，但在这种情况下应该提及 目录路径/ .filestype.

agent.sources.r1.filegroups.f1=/home/flume/Documents/spooldir/.*txt.*

然后运行 flume.conf 并检查结果它会正常工作。

加载 positionFile 失败：在 flume 中使用 TAILDIR Source 时出现错误

Failed loading positionFile: while using TAILDIR Source in flume i am getting error

json

flume

flume-ng