云端的 Kafka 消费者
Kafka consumers in the cloud
我正在使用 spring kafka 消费者,它们被包装在 spring 启动应用程序中并作为微服务部署在关键的云铸造厂中。我正在部署 15 个应用程序实例和 15 个 kafka 分区。由于这些实例中的大多数是一个一个启动的,是否会进行多次重新平衡?在云中部署 kafka 消费者的推荐方法是什么?
新的0.11客户端有新的属性group.initial.rebalance.delay.ms
see Notable changes in 0.11.0.0.
A new config, group.initial.rebalance.delay.ms
, was introduced. This config specifies the time, in milliseconds, that the GroupCoordinator
will delay the initial consumer rebalance. The rebalance will be further delayed by the value of group.initial.rebalance.delay.ms
as new members join the group, up to a maximum of max.poll.interval.ms
. The default value for this is 3 seconds. During development and testing it might be desirable to set this to 0 inorder to not delay test execution time.
我们正在添加对 0.11 客户端的支持。目前它计划用于 Apache Kafka 的 2.0 Spring 版本,但我们正在考虑 1.3 版本,其中包含 2.0 功能的子集,以及对 0.11 的支持。
您可以尝试将新客户端与较旧的 spring-kafka 一起使用;它可能有效,但当然,您不会获得 0.11 功能,例如交易和 Headers
.
我正在使用 spring kafka 消费者,它们被包装在 spring 启动应用程序中并作为微服务部署在关键的云铸造厂中。我正在部署 15 个应用程序实例和 15 个 kafka 分区。由于这些实例中的大多数是一个一个启动的,是否会进行多次重新平衡?在云中部署 kafka 消费者的推荐方法是什么?
新的0.11客户端有新的属性group.initial.rebalance.delay.ms
see Notable changes in 0.11.0.0.
A new config,
group.initial.rebalance.delay.ms
, was introduced. This config specifies the time, in milliseconds, that theGroupCoordinator
will delay the initial consumer rebalance. The rebalance will be further delayed by the value ofgroup.initial.rebalance.delay.ms
as new members join the group, up to a maximum ofmax.poll.interval.ms
. The default value for this is 3 seconds. During development and testing it might be desirable to set this to 0 inorder to not delay test execution time.
我们正在添加对 0.11 客户端的支持。目前它计划用于 Apache Kafka 的 2.0 Spring 版本,但我们正在考虑 1.3 版本,其中包含 2.0 功能的子集,以及对 0.11 的支持。
您可以尝试将新客户端与较旧的 spring-kafka 一起使用;它可能有效,但当然,您不会获得 0.11 功能,例如交易和 Headers
.