Spring 云流 - Kafka binder 性能
Spring cloud stream - Kafka binder performance
我有以下简单的代码:
private int i = 0;
@StreamListener(Sink.INPUT)
public void processMessage(Message<?> message) {
i++;
}
@Scheduled(fixedDelay=5000)
private void scheduled(){
LOG.info("Messages consumed: " + i);
}
以及以下属性:
spring.cloud.stream.bindings.input.consumer.headerMode=raw
spring.cloud.stream.kafka.binder.autoCreateTopics=false
spring.cloud.stream.kafka.bindings.input.consumer.autoCommitOffset=false
spring.cloud.stream.bindings.input.destination=test6
spring.cloud.stream.bindings.input.group=testGroup50
spring.cloud.stream.bindings.input.partitioned=false
我有一个本地 kafka 主题,单个分区有 96 k 条消息。
kafka 库提供的简单 kafka 消费者在大约 4 秒 内消费这些消息。
但是,上面的代码用了将近 1 分钟!
显然,这是我们应用程序的一个问题,有没有人遇到过这种情况?我在这里遗漏了什么吗?
Visual VM 也没有标记任何东西。
PS:我刚刚尝试了自动提交,但我仍然看到了糟糕的表现。
我认为最好在 https://github.com/spring-cloud/spring-cloud-stream-binder-kafka 中打开一个 Git 集线器问题。
另外,您能否说明您使用的是什么版本以及您的消息大小,以便我们可以重复测量?谢谢
编辑:根据 https://github.com/spring-cloud/spring-cloud-stream-binder-kafka/issues/71 中的讨论,这似乎特定于 macOS(目前在 Sierra 和 El Capitan 上复制)和 0.9 客户端)
感谢@Marius Bogoevici 的研究,发现性能不佳的原因是 Mac OS:
https://github.com/spring-cloud/spring-cloud-stream-binder-kafka/issues/71#issuecomment-263280685
张贴此以供参考,以防其他人遇到此问题。
我有以下简单的代码:
private int i = 0;
@StreamListener(Sink.INPUT)
public void processMessage(Message<?> message) {
i++;
}
@Scheduled(fixedDelay=5000)
private void scheduled(){
LOG.info("Messages consumed: " + i);
}
以及以下属性:
spring.cloud.stream.bindings.input.consumer.headerMode=raw
spring.cloud.stream.kafka.binder.autoCreateTopics=false
spring.cloud.stream.kafka.bindings.input.consumer.autoCommitOffset=false
spring.cloud.stream.bindings.input.destination=test6
spring.cloud.stream.bindings.input.group=testGroup50
spring.cloud.stream.bindings.input.partitioned=false
我有一个本地 kafka 主题,单个分区有 96 k 条消息。 kafka 库提供的简单 kafka 消费者在大约 4 秒 内消费这些消息。
但是,上面的代码用了将近 1 分钟!
显然,这是我们应用程序的一个问题,有没有人遇到过这种情况?我在这里遗漏了什么吗?
Visual VM 也没有标记任何东西。
PS:我刚刚尝试了自动提交,但我仍然看到了糟糕的表现。
我认为最好在 https://github.com/spring-cloud/spring-cloud-stream-binder-kafka 中打开一个 Git 集线器问题。
另外,您能否说明您使用的是什么版本以及您的消息大小,以便我们可以重复测量?谢谢
编辑:根据 https://github.com/spring-cloud/spring-cloud-stream-binder-kafka/issues/71 中的讨论,这似乎特定于 macOS(目前在 Sierra 和 El Capitan 上复制)和 0.9 客户端)
感谢@Marius Bogoevici 的研究,发现性能不佳的原因是 Mac OS:
https://github.com/spring-cloud/spring-cloud-stream-binder-kafka/issues/71#issuecomment-263280685
张贴此以供参考,以防其他人遇到此问题。