kafka Brokers Leader 倾斜

kafka Brokers Leader Skewed

我有 10 个节点的 kafka 集群。每个节点上都有 kafka broker 和 zookeeper 运行。最近我们添加了 3 个新节点 8、9 和 10,昨天有 2 个节点关闭(2 和 4)。我有一个包含 60 个分区和 3 个复制的主题。在 kafka 管理器中,Brokers Skewed % 显示为 50,Brokers Leader Skewed % 显示为 70。我手动重新分配了 UI 的分区,现在 Brokers Skewed % 为 0,但它没有改变 Brokers Leader Skewed %。我也 运行 命令:

$ kafka-preferred-replica-election.sh  --zookeeper localhost:2181 --path-to-json-file test.json

Warning: --zookeeper is deprecated and will be removed in a future version of Kafka.
Use --bootstrap-server instead to specify a broker to connect to.
Created preferred replica election path with ...
Successfully started preferred replica election for partitions Set(..

但它并没有改变任何东西。我可以在 UI 上看到经纪人 8 和 10 没有领导者。我怎样才能平均地重新平衡所有经纪商的领导者?我读到所有代理的集群滚动重启可以解决它,但我不能(在正常情况下)重启我的生产 Kafka 集群。

kafka version: 2.3.0
zookeeper version: 3.4.12

添加了 kafka 管理器屏幕截图并突出显示了红色圆圈的问题。

如有任何帮助,我将不胜感激。

我能够解决这个问题。如果您仔细查看屏幕截图,您会注意到首选副本的 none(Replicas 列的第一个条目)已分配给代理 8 或 10,并且只有分区 37 将代理 9 作为首选副本,因此Preferred Replica Election 将不起作用。

我已经使用 Manual Partition Assignments(将代理 8,9 和 10 移动到 17 个分区 (6*3 -2) 中的副本 0)选项和 运行 Reassign Partitions 然后 运行 Preferred Replica Election.

希望对大家有所帮助

注意:最近添加了 8,9 和 10 节点。