Apache Flume-Kafka-Sink 生产者重复消息
Apache Flume-Kafka-Sink producer duplicated messages
我们遇到了 flume-kafka-sink 的奇怪问题，kafka 代理多次失败并产生重复的消息（每 50 条记录都相同），但是有关 producer.sinks.r.request.required.acks = 1、配额的设置kafka文档"This option provides the lowest latency but the weakest durability guarantees (some data will be lost when a server fails)"，它不能产生重复数据？是指flume还是flume-kafka-sink的问题？
Flume-Kafka-Sink 批量生产消息，并在写入失败后重试。在某些代理失败期间，某些分区领导者无法访问。批量写入时，部分分区成功，部分分区失败，当Flume-Kafka-Sink重试时，成功部分将被复制。
我们遇到了 flume-kafka-sink 的奇怪问题，kafka 代理多次失败并产生重复的消息（每 50 条记录都相同），但是有关 producer.sinks.r.request.required.acks = 1、配额的设置kafka文档"This option provides the lowest latency but the weakest durability guarantees (some data will be lost when a server fails)"，它不能产生重复数据？是指flume还是flume-kafka-sink的问题？
Flume-Kafka-Sink 批量生产消息，并在写入失败后重试。在某些代理失败期间，某些分区领导者无法访问。批量写入时，部分分区成功，部分分区失败，当Flume-Kafka-Sink重试时，成功部分将被复制。