Spring 云流 - Kafka binder 性能

Spring cloud stream - Kafka binder performance

我有以下简单的代码:

    private int i = 0;

    @StreamListener(Sink.INPUT)
    public void processMessage(Message<?> message) {
         i++;
    }

    @Scheduled(fixedDelay=5000)
    private void scheduled(){
        LOG.info("Messages consumed: " + i);
    }

以及以下属性:

spring.cloud.stream.bindings.input.consumer.headerMode=raw
spring.cloud.stream.kafka.binder.autoCreateTopics=false
spring.cloud.stream.kafka.bindings.input.consumer.autoCommitOffset=false
spring.cloud.stream.bindings.input.destination=test6
spring.cloud.stream.bindings.input.group=testGroup50
spring.cloud.stream.bindings.input.partitioned=false

我有一个本地 kafka 主题,单个分区有 96 k 条消息。 kafka 库提供的简单 kafka 消费者在大约 4 秒 内消费这些消息。

但是,上面的代码用了将近 1 分钟!

显然,这是我们应用程序的一个问题,有没有人遇到过这种情况?我在这里遗漏了什么吗?

Visual VM 也没有标记任何东西。

PS:我刚刚尝试了自动提交,但我仍然看到了糟糕的表现。

我认为最好在 https://github.com/spring-cloud/spring-cloud-stream-binder-kafka 中打开一个 Git 集线器问题。

另外,您能否说明您使用的是什么版本以及您的消息大小,以便我们可以重复测量?谢谢

编辑:根据 https://github.com/spring-cloud/spring-cloud-stream-binder-kafka/issues/71 中的讨论,这似乎特定于 macOS(目前在 Sierra 和 El Capitan 上复制)和 0.9 客户端)

感谢@Marius Bogoevici 的研究,发现性能不佳的原因是 Mac OS:

https://github.com/spring-cloud/spring-cloud-stream-binder-kafka/issues/71#issuecomment-263280685

张贴此以供参考,以防其他人遇到此问题。