是什么导致德鲁伊任务失败
what caused druid tasks failed
我已经设置了 druid 集群(10 个节点),使用 索引服务 摄取 kafka 数据。但是,我发现很多任务都失败了,如下所示,但是一些数据已经存在于段中,我不确定是否所有数据都被推送到段中。
failed task lists
除此之外,我选择了一些失败任务的日志,发现没有致命错误消息,我发布了日志文件,请帮助我导致任务failed.thank这么多。
one log of failed tasks
有2个问题想请教,一个是如何确认所有消费数据都推送到segments中,另一个是任务失败的原因。
这好像是Hadoop的问题,多线程同时写入同一个文件,需要设置overwrite=false
检查您是否运行 为相同的片段执行多个摄取任务。
你可以参考下面link进一步调试它 -
我已经设置了 druid 集群(10 个节点),使用 索引服务 摄取 kafka 数据。但是,我发现很多任务都失败了,如下所示,但是一些数据已经存在于段中,我不确定是否所有数据都被推送到段中。 failed task lists
除此之外,我选择了一些失败任务的日志,发现没有致命错误消息,我发布了日志文件,请帮助我导致任务failed.thank这么多。 one log of failed tasks
有2个问题想请教,一个是如何确认所有消费数据都推送到segments中,另一个是任务失败的原因。
这好像是Hadoop的问题,多线程同时写入同一个文件,需要设置overwrite=false
检查您是否运行 为相同的片段执行多个摄取任务。
你可以参考下面link进一步调试它 -