Apache Kafka 的数据流生成器

Question

我正在为 Kafka-broker 寻找一个简单的事件/数据流生成器，以便 运行 在 Hadoop 框架的流工具上进行一些性能测试。目前没找到合适的。它应该能够在很短的时间内（毫秒）发送很多（大部分是相等的）消息。

谢谢！

Answer 1

您可以使用 Kafka 0.9+ 附带的 kafka-producer-perf-test.sh 工具。它允许您生成多个给定大小的消息。这个工具只是一个生产者，可以让你发送一批消息并收集统计信息。

在我们的性能测试中，我们使用此工具（或我们自己的性能生成器，但与此类似），当我们想要增加负载时，我们 运行 将多个实例并行到不同的主机中。