kafka Brokers Leader 倾斜
kafka Brokers Leader Skewed
我有 10 个节点的 kafka 集群。每个节点上都有 kafka broker 和 zookeeper 运行。最近我们添加了 3 个新节点 8、9 和 10,昨天有 2 个节点关闭(2 和 4)。我有一个包含 60 个分区和 3 个复制的主题。在 kafka 管理器中,Brokers Skewed %
显示为 50,Brokers Leader Skewed %
显示为 70。我手动重新分配了 UI 的分区,现在 Brokers Skewed %
为 0,但它没有改变 Brokers Leader Skewed %
。我也 运行 命令:
$ kafka-preferred-replica-election.sh --zookeeper localhost:2181 --path-to-json-file test.json
Warning: --zookeeper is deprecated and will be removed in a future version of Kafka.
Use --bootstrap-server instead to specify a broker to connect to.
Created preferred replica election path with ...
Successfully started preferred replica election for partitions Set(..
但它并没有改变任何东西。我可以在 UI 上看到经纪人 8 和 10 没有领导者。我怎样才能平均地重新平衡所有经纪商的领导者?我读到所有代理的集群滚动重启可以解决它,但我不能(在正常情况下)重启我的生产 Kafka 集群。
kafka version: 2.3.0
zookeeper version: 3.4.12
添加了 kafka 管理器屏幕截图并突出显示了红色圆圈的问题。
如有任何帮助,我将不胜感激。
我能够解决这个问题。如果您仔细查看屏幕截图,您会注意到首选副本的 none(Replicas
列的第一个条目)已分配给代理 8 或 10,并且只有分区 37 将代理 9 作为首选副本,因此Preferred Replica Election
将不起作用。
我已经使用 Manual Partition Assignments
(将代理 8,9 和 10 移动到 17 个分区 (6*3 -2) 中的副本 0)选项和 运行 Reassign Partitions
然后 运行 Preferred Replica Election
.
希望对大家有所帮助
注意:最近添加了 8,9 和 10 节点。
我有 10 个节点的 kafka 集群。每个节点上都有 kafka broker 和 zookeeper 运行。最近我们添加了 3 个新节点 8、9 和 10,昨天有 2 个节点关闭(2 和 4)。我有一个包含 60 个分区和 3 个复制的主题。在 kafka 管理器中,Brokers Skewed %
显示为 50,Brokers Leader Skewed %
显示为 70。我手动重新分配了 UI 的分区,现在 Brokers Skewed %
为 0,但它没有改变 Brokers Leader Skewed %
。我也 运行 命令:
$ kafka-preferred-replica-election.sh --zookeeper localhost:2181 --path-to-json-file test.json
Warning: --zookeeper is deprecated and will be removed in a future version of Kafka.
Use --bootstrap-server instead to specify a broker to connect to.
Created preferred replica election path with ...
Successfully started preferred replica election for partitions Set(..
但它并没有改变任何东西。我可以在 UI 上看到经纪人 8 和 10 没有领导者。我怎样才能平均地重新平衡所有经纪商的领导者?我读到所有代理的集群滚动重启可以解决它,但我不能(在正常情况下)重启我的生产 Kafka 集群。
kafka version: 2.3.0
zookeeper version: 3.4.12
添加了 kafka 管理器屏幕截图并突出显示了红色圆圈的问题。
如有任何帮助,我将不胜感激。
我能够解决这个问题。如果您仔细查看屏幕截图,您会注意到首选副本的 none(Replicas
列的第一个条目)已分配给代理 8 或 10,并且只有分区 37 将代理 9 作为首选副本,因此Preferred Replica Election
将不起作用。
我已经使用 Manual Partition Assignments
(将代理 8,9 和 10 移动到 17 个分区 (6*3 -2) 中的副本 0)选项和 运行 Reassign Partitions
然后 运行 Preferred Replica Election
.
希望对大家有所帮助
注意:最近添加了 8,9 和 10 节点。