Kafka 生产者收到第一条消息很慢

Question

我在 .NET 中有一个测试应用程序，它创建 kafka 生产者并使用 Confluent 客户端库向主题发送一些消息。

由于某种原因，第一条消息的确认总是迟到 1 秒，后续消息的确认几乎立即到达。

这是正常行为还是我缺少某些配置？

我想我试过调整所有生产者配置，除了设置 EnableDeliveryReports = false 没有任何帮助。
主题未分区并且在发送第一条消息时已经存在。

如果我更新应用程序以向几个主题发送消息，那么每个主题的第一条消息会延迟 1 秒发送。

static void Main()
{
    var producer = new Producer<Null, string>(new ProducerConfig
    {
        BootstrapServers = "localhost:9092",
        LingerMs = 100,
        BatchNumMessages = 1,
    });

    for (var i = 0; i < 10; i++)
    {
        var start = DateTime.Now;
        producer.ProduceAsync(
            new TopicPartition("test-topic", Partition.Any), new Message<Null, string>
            {
                Value = $"hello kafka! #{i}"
            }).Wait(2000);

        var now = DateTime.Now;
        Console.WriteLine($"{now:HH:mm:ss.fff} Message sent in {(now - start).TotalMilliseconds:N1}.");
    }

    producer.Dispose();
    Console.ReadLine();
}

示例输出：

18:06:13.605 Message sent in 1,007.0.
18:06:13.607 Message sent in 1.0.
18:06:13.608 Message sent in 1.0.
18:06:13.609 Message sent in 1.0.
18:06:13.610 Message sent in 1.0.
18:06:13.611 Message sent in 1.0.
18:06:13.612 Message sent in 1.0.
18:06:13.613 Message sent in 1.0.
18:06:13.614 Message sent in 1.0.
18:06:13.615 Message sent in 1.0.

Answer 1

在对 kafka 请求日志进行更多挖掘之后，我发现在发送第一个消息之前，生产者会发送 API_VERSIONS 和所有主题的 METADATA 请求。 1 秒后它再次发送 METADATA 请求，这次是针对生产者尝试将消息推送到的特定主题。

将 TopicMetadataRefreshIntervalMs 设置为小于 1 秒的值可减少第一条消息的延迟。作为不利因素，生产者开始更频繁地发送元数据请求。令人惊讶的是，将 TopicMetadataRefreshIntervalMs 设置为超过一秒并不会延长延迟。

不确定这是错误还是功能。

Kafka 生产者收到第一条消息很慢

Kafka producer is slow on first message

.net

apache-kafka

confluent-platform