端到端测试 BigData Pipeline 性能的工具？

Question

我有这个管道：Kafka->Logstash->ElasticSearch->Kibana

我找到了一个可以用脚本“bin/kafka-producer-perf-test.sh”调用的生产者性能工具。

我想知道是否有人对测试性能端到端测试有任何建议？

谢谢。

Answer 1

您的管道 Kafka->Logstash->ElasticSearch->Kibana 涉及 4 个组件。 Kafka、Logstash、ElasticSearch、Kibana 所有这些都服务于不同的目的。每个组件都有不同的性能数字和特性。

bin/kafka-producer-perf-test.sh 你提到的是kafka性能测试工具，它只会衡量Kafka的性能，不会衡量其他的。如果您已将管道配置为读取、处理和显示使用上述测试工具生成的数据，那么您可以获得整体管道性能。这样您将无法在管道中找到限制组件。

我建议您配置一个复制管道所需的类似数据。 Kafka 定制生产者 - PepperBox 是一个很好的工具。使用 influxDB/graphite（或您选择的任何时间序列数据库）在所有组件上部署监控，并测量端到端吞吐量以及组件方面的吞吐量。

示例基准是 YSB。这将帮助您入门。