监控风暴三叉戟

Monitoring storm trident

我想设置一个监控来检查kafka队列中的消息总数和storm已经消耗的消息总数。如果差异是数千,我需要设置警报。是否已经有这样的工具可用或我如何设置它?

Capillary tracks a delta (how Storm is far behind from Kafka) of each partition, but it seems not supporting alerts though. You may implement your own alerts by calling its API 定期。

你也可以通过JMX从头构建自己的告警系统。 您可以监控 Number of messages the consumer lags behind the producer by 并在滞后超过某个阈值时发出警报。有关详细信息,请参阅 Kafka 文档的 6.6 Monitoring

您可能会从 Kafka ecosystem 中找到一些其他工具。