是什么导致德鲁伊任务失败

what caused druid tasks failed

我已经设置了 druid 集群(10 个节点),使用 索引服务 摄取 kafka 数据。但是,我发现很多任务都失败了,如下所示,但是一些数据已经存在于段中,我不确定是否所有数据都被推送到段中。 failed task lists

除此之外,我选择了一些失败任务的日志,发现没有致命错误消息,我发布了日志文件,请帮助我导致任务failed.thank这么多。 one log of failed tasks

有2个问题想请教,一个是如何确认所有消费数据都推送到segments中,另一个是任务失败的原因。

这好像是Hadoop的问题,多线程同时写入同一个文件,需要设置overwrite=false

检查您是否运行 为相同的片段执行多个摄取任务。

你可以参考下面link进一步调试它 -

https://community.hortonworks.com/questions/139150/no-lease-on-file-inode-5425306-file-does-not-exist.html