filebeat 输出到 Kafka 时如何处理可靠性？
How does filebeat handle reliability when it outputs to Kafka?
已知Kafka在0.11.0.0之后可以提供exactly-once delivery语义。我希望以这种方式将 filebeat 输出到 Kafka。根据KIP 98, it requires some configs to be set properly, including enable.idempotence, transaction.timeout.ms and transactional.id for producer (i.e., filebeat) . But I cannot find these configs even in the latest version of filebeat。所以，我想知道它是否受支持，如果支持如何实现。
目前，从 Filebeat 的文档及其相关资源来看，不可能使用 Filebeat 进行精确一次交付。它目前使用至少一次传递，这意味着您将收到消息 1 次或多次。
虽然Kafka可以支持exactly-once语义，但是Filebeat貌似不支持exactly-once语义。 Filebeat 需要实施这些配置以支持一次性交付。
已知Kafka在0.11.0.0之后可以提供exactly-once delivery语义。我希望以这种方式将 filebeat 输出到 Kafka。根据KIP 98, it requires some configs to be set properly, including enable.idempotence, transaction.timeout.ms and transactional.id for producer (i.e., filebeat) . But I cannot find these configs even in the latest version of filebeat。所以，我想知道它是否受支持，如果支持如何实现。
目前，从 Filebeat 的文档及其相关资源来看，不可能使用 Filebeat 进行精确一次交付。它目前使用至少一次传递，这意味着您将收到消息 1 次或多次。
虽然Kafka可以支持exactly-once语义，但是Filebeat貌似不支持exactly-once语义。 Filebeat 需要实施这些配置以支持一次性交付。