有没有办法自动缩放 strimzi kafka 连接集群？

Question

我正在尝试找出是否可以水平扩展 strimzi kafka 连接集群以利用 pod/node 自动扩展，因为我的生产负载波动很大。

我尝试将 hpa 配置应用于生成的 kafka 连接部署，但它似乎与 kafkaconnect 副本定义冲突，因为新 pods 启动并很快被终止。我假设有一些 strimzi 机制可以将部署大小与 kafkaconnect 清单同步，从而阻止 hpa 工作。

有谁知道这是否可能？

Answer 1

您无法自动缩放部署。您必须自动缩放支持缩放子资源并定义副本数量的 KafkaConnect 自定义资源。

请记住，自动缩放 Kafka Connect 并非完全微不足道：

• 您需要确保有足够的任务安排在新 Pods 上，并且您的连接器支持使用多个任务
• 对于接收器连接器，您必须确保有足够的分区
• 等等

因此，当 CPU 的利用率超过 80% 或类似情况时，添加更多 pods 并不总是那么容易。