将指标从 ActiveMQ Artemis 发送到 Prometheus

Sending metrics from ActiveMQ Artemis to Prometheus

我遇到了一个问题,但我不太确定如何解决它。

在我的工作项目中,我有一个 ActiveMQ 队列,我想向 Prometheus 发送一些指标,这将帮助我在 Grafana 中创建一些警报。我知道对于 ActiveMQ Artemis 我可以使用 this plugin,但我 100% 不明白如何配置它。

我的应用程序部署在 Kubernetes 集群上,ActiveMQ 代理也在那里。所以我创建了 ActiveMQPrometheusMetricsPlugin class 来实现 org.apache.activemq.artemis.core.server.metrics.ActiveMQMetricsPlugin。现在我感到困惑的地方是我应该部署我的应用程序并且指标将由 Prometheus 收集吗?我应该做更多配置吗?

我们通常不会在本地环境中构建应用程序。我们正在使用一个正在构建应用程序并将其部署到各种环境(开发、测试、生产)的管道。我应该做类似于 GitHub 插件项目的配置,部署它,然后在 Kubernetes 上找到那些 jar 并将它们移动到正确的位置? dev-ops 还对我说我们正在使用默认的 conf。我不知道我们是否有 broker.xml 文件。

在开始之前有几个要点需要了解:

  • 使用 Artemis Prometheus 指标插件时,代理和应用程序都不会“发送”指标到 Prometheus。 Prometheus 本身必须从代理中检索或“抓取”指标。这就是插件附带 servlet 的原因。该 servlet 公开了一个 HTTP 端点,Prometheus 可以使用它来抓取指标。
  • Artemis Prometheus 指标插件是代理基础架构的一部分。它不能作为应用程序的一部分进行部署。插件的jar和war文件部署在broker上,分别在broker.xmlbootstrap.xml配置

Artemis Prometheus Metrics 插件使用两个模块提供与 Prometheus 的集成:

  • artemis-prometheus-metrics-plugin:这提供了 org.apache.activemq.artemis.core.server.metrics.ActiveMQMetricsPlugin 和 将它与 Micrometer 和 Prometheus 依赖项打包在一个“uber”jar 中。

  • artemis-prometheus-metrics-plugin-servlet:这提供了一个 war 文件,其中包含一个可以部署到代理的简单 servlet Prometheus 可以用来抓取指标的嵌入式 Web 服务器。

克隆 Artemis Prometheus 指标插件存储库后,只需 运行 mvn install 即可构建这两个模块。输出将在各自的 target 目录中。

构建模块后,请按照以下步骤部署和配置 Artemis Prometheus Metrics 插件。如果您有某种管理和配置您的代理的开发运营小组,那么他们将遵循这些步骤。

  1. artemis-prometheus-metrics-plugin/target/artemis-prometheus-metrics-plugin-<VERSION>.jar复制到<ARTEMIS_INSTANCE>/lib

  2. 将此添加到您的 <ARTEMIS_INSTANCE>/etc/broker.xml:

    <metrics-plugin class-name="org.apache.activemq.artemis.core.server.metrics.plugins.ArtemisPrometheusMetricsPlugin"/>
    
  3. 创建目录<ARTEMIS_INSTANCE>/web.

  4. artemis-prometheus-metrics-plugin-servlet/target/metrics.war复制到<ARTEMIS_INSTANCE>/web

  5. 将此添加到 <ARTEMIS_INSTANCE>/etc/bootstrap.xml 中的 web 元素:

    <app url="metrics" war="metrics.war"/>
    

artemis-prometheus-metrics-plugin 是一个很好的替代方案,但在具有共置复制的集群环境中效果不佳:

2021-11-16 12:15:46,374 WARN  [org.apache.activemq.artemis.core.server] AMQ222261: Failed to activate a backup: java.security.PrivilegedActionException: java.io.NotSerializableException: io.micrometer.prometheus.PrometheusMeterRegistry
    at java.base/java.security.AccessController.doPrivileged(Native Method) [java.base:]
    at org.apache.activemq.artemis.core.config.impl.ConfigurationImpl.copy(ConfigurationImpl.java:2328) [artemis-server-2.19.0.jar:2.19.0]
    at org.apache.activemq.artemis.core.server.cluster.ha.ColocatedHAManager.activateReplicatedBackup(ColocatedHAManager.java:186) [artemis-server-2.19.0.jar:2.19.0]
    at org.apache.activemq.artemis.core.server.cluster.ha.ColocatedHAManager.activateBackup(ColocatedHAManager.java:99) [artemis-server-2.19.0.jar:2.19.0]
    at org.apache.activemq.artemis.core.server.impl.ColocatedActivation.handlePacket(ColocatedActivation.java:127) [artemis-server-2.19.0.jar:2.19.0]
    at org.apache.activemq.artemis.core.server.cluster.ClusterController$ClusterControllerChannelHandler.handlePacket(ClusterController.java:469) [artemis-server-2.19.0.jar:2.19.0]
    at org.apache.activemq.artemis.core.protocol.core.impl.ChannelImpl.handlePacket(ChannelImpl.java:820) [artemis-core-client-2.19.0.jar:2.19.0]
    at org.apache.activemq.artemis.core.protocol.core.impl.RemotingConnectionImpl.doBufferReceived(RemotingConnectionImpl.java:428) [artemis-core-client-2.19.0.jar:2.19.0]
    at org.apache.activemq.artemis.core.protocol.core.impl.RemotingConnectionImpl.bufferReceived(RemotingConnectionImpl.java:396) [artemis-core-client-2.19.0.jar:2.19.0]
    at org.apache.activemq.artemis.core.remoting.server.impl.RemotingServiceImpl$DelegatingBufferHandler.bufferReceived(RemotingServiceImpl.java:688)