关于nifi集群优化的ConsumeKafkaRecord

Question

我在 nifi 中使用一个 3 节点集群和 3 个动物园管理员。 一般流程是 <从kafka读取> -> <处理数据> -> <上传到数据库> kafka consume 是否应该只在主节点上操作以防止组每隔几秒重新平衡一次？

Answer 1

不，kafka 消耗处理器在集群中运行良好。 juste make sur 为您的连接器定义相同的 group.id。

如果你有再平衡问题，你应该先看看你的kafka集群和nifi稳定性。

Answer 2

我用类似的集群开发了完全相同的流程，可能是它的处理部分更复杂。

我有 3 个节点的 nifi 集群，消费者在所有 3 个节点上 运行 具有相同的组 ID。这有助于将处理成本分配给所有节点，同时提供更好的性能。如果您遇到更多的重新平衡，则可能是您的数据流中的另一个问题。