使用多个生产者和多个消费者对kafka进行负载测试

Question

我正在尝试使用多个生产者和多个消费者对我的 Kafka 集群进行负载测试。我遇到了很多可用的工具和文章，但它们都从一台机器生成负载（生产者）并从一台机器类似地读取（消费者）。

我正在寻找可以部署 across/spawn 多个生产者和消费者并对给定的 kafka 集群进行负载测试的工具。

• 作为输入，我们可以给出生产者和消费者的数量。
• 然后它可以产生这些数量的机器，包括生产者和消费者（在 AWS、Azure 或 GCP 上）。或者我们可以手动生成机器，然后该工具可以在它们上启动生产者和消费者。
• Post 它加载测试的目标 kafka 集群。
• 最后，它给出了测试结果，如write/sec、read/sec等

Tools/Articles我查的是：

• https://www.blazemeter.com/blog/apache-kafka-how-to-load-test-with-jmeter
• https://medium.com/selectstarfromweb/lets-load-test-kafka-f90b71758afb
• Load testing with Kafka and Storm
• Load test kafka consumer
• Load testing a kafka consumer

Answer 1

very first article 既没有提及也没有假设任何关于 consumers/producers 数量的限制。

只需输入Samplers for different Kafka instances (or different topics or whatever is your test scenario) under different JMeter Thread Groups，您就可以同时对多个端点施加压力。

如果您喜欢在不同的机器上执行此操作 - 您可以 run JMeter in distributed mode and point different JMeter slave machines to stress different endpoints using If Controller and __machineName() or __machineIP() 功能组合。