空闲 AMQ Artemis 集群上的高 CPU 使用率，与共享存储 HA 的锁相关

Question

我有 AMQ Artemis 集群，共享存储 HA（主从），2.17.0。

我注意到我所有空闲的集群（仅活动服务器）（没有人在使用它们）使用了 CPU 的 10% 到 20%，除了一个，它使用了大约 1%（完全正常）。我开始调查...

长话短说 - 只有一个集群具有完全正常的 CPU 用法。我设法发现的唯一区别是，如果我连接到 普通集群的 主节点并尝试 telnet slave 61616 - 它会显示为已连接。如果我在任何其他集群（具有高 CPU 使用率）中执行相同操作 - 它将显示为已拒绝。

为了更好地了解发生了什么，我启用了 DEBUG 登录 instance/etc/logging.properties。这是主节点发送的垃圾邮件：

2021-05-07 13:54:31,857 DEBUG [org.apache.activemq.artemis.core.client.impl.ClientSessionFactoryImpl] Backup is not active, trying original connection configuration now.
2021-05-07 13:54:32,357 DEBUG [org.apache.activemq.artemis.core.client.impl.ClientSessionFactoryImpl] Trying reconnection attempt 0/1
2021-05-07 13:54:32,357 DEBUG [org.apache.activemq.artemis.core.client.impl.ClientSessionFactoryImpl] Trying to connect with connectorFactory = org.apache.activemq.artemis.core.remoting.impl.netty$NettyConnectorFactory@6cf71172, connectorConfig=TransportConfiguration(name=slave-connector, factory=org-apache-activemq-artemis-core-remoting-impl-netty-NettyConnectorFactory) ?trustStorePassword=****&port=61616&keyStorePassword=****&sslEnabled=true&host=slave-com&trustStorePath=/path/to/ssl/truststore-jks&keyStorePath=/path/to/ssl/keystore-jks
2021-05-07 13:54:32,357 DEBUG [org.apache.activemq.artemis.core.remoting.impl.netty.NettyConnector] Connector NettyConnector [host=slave.com, port=61616, httpEnabled=false$ httpUpgradeEnabled=false, useServlet=false, servletPath=/messaging/ActiveMQServlet, sslEnabled=true, useNio=true] using native epoll
2021-05-07 13:54:32,357 DEBUG [org.apache.activemq.artemis.core.client] AMQ211002: Started EPOLL Netty Connector version 4.1.51.Final to slave.com:61616
2021-05-07 13:54:32,358 DEBUG [org.apache.activemq.artemis.core.remoting.impl.netty.NettyConnector] Remote destination: slave.com/123.123.123.123:61616
2021-05-07 13:54:32,358 DEBUG [org.apache.activemq.artemis.spi.core.remoting.ssl.SSLContextFactory] Creating SSL context with configuration
trustStorePassword=****
port=61616
keyStorePassword=****
sslEnabled=true
host=slave.com
trustStorePath=/path/to/ssl/truststore.jks
keyStorePath=/path/to/ssl/keystore.jks
2021-05-07 13:54:32,448 DEBUG [org.apache.activemq.artemis.core.remoting.impl.netty.NettyConnector] Added ActiveMQClientChannelHandler to Channel with id = 77c078c2
2021-05-07 13:54:32,448 DEBUG [org.apache.activemq.artemis.core.client.impl.ClientSessionFactoryImpl] Connector towards NettyConnector [host=slave.com, port=61616, httpEnabled=false, httpUpgradeEnabled=false, useServlet=false, servletPath=/messaging/ActiveMQServlet, sslEnabled=true, useNio=true] failed

这是奴隶发送的垃圾邮件：

2021-05-07 14:06:53,177 DEBUG [org.apache.activemq.artemis.core.server.impl.FileLockNodeManager] trying to lock position: 1
2021-05-07 14:06:53,178 DEBUG [org.apache.activemq.artemis.core.server.impl.FileLockNodeManager] failed to lock position: 1

如果我尝试从主节点远程登录到从节点（如果我从从节点到从节点也一样）：

[root@master]# telnet slave.com 61616
Trying 123.123.123.123...
telnet: connect to address 123.123.123.123: Connection refused

但是，如果我在唯一工作的集群中尝试相同的 telnet，我可以成功地从主服务器“连接”到从服务器...

这是我的怀疑：

Master 在 instance/data/journal/server.lock
主服务器不断尝试连接从服务器
从属无法启动，因为它无法在共享存储上获取相同的 server.lock。
Master 使用高 CPU 因为这样很难连接到 slave，这不是运行.

我做错了什么？

编辑：这是我的 NFS 挂载的样子（取自 mount 命令）：

some_server:/some_dir on /path/to/artemis/instance/data type nfs4 (rw,relatime,sync,vers=4.1,rsize=65536,wsize=65536,namlen=255,acregmin=0,acregmax=0,acdirmin=0,acdirmax=0,soft,noac,proto=tcp,timeo=50,retrans=1,sec=sys,clientaddr=123.123.123.123,local_lock=none,addr=123.123.123.123)

Answer 1

原来问题出在 broker.xml 配置中。在 static-connectors 中，我不知何故决定只列出一个“非当前服务器”（例如，我有 srv0 和 srv1 - 在 srv0 中，我只添加了 srv1 的连接器，反之亦然）。

它曾经是什么（在第一个 master 节点上）：

<cluster-connections>
    <cluster-connection name="abc">
        <connector-ref>srv0-connector</connector-ref>
        <message-load-balancing>ON_DEMAND</message-load-balancing>
        <max-hops>1</max-hops>
        <static-connectors>
           <connector-ref>srv1-connector</connector-ref>
        </static-connectors>
    </cluster-connection>
</cluster-connections>

现在怎么样（第一个 master 节点）：

<cluster-connections>
    <cluster-connection name="abc">
        <connector-ref>srv0-connector</connector-ref>
        <message-load-balancing>ON_DEMAND</message-load-balancing>
        <max-hops>1</max-hops>
        <static-connectors>
           <connector-ref>srv0-connector</connector-ref>
           <connector-ref>srv1-connector</connector-ref>
        </static-connectors>
    </cluster-connection>
</cluster-connections>

列出所有集群的节点后，CPU 归一化并且它不仅在活动节点上约为 1%。该问题与 AMQ Artemis 连接垃圾邮件或文件锁定完全无关。

空闲 AMQ Artemis 集群上的高 CPU 使用率，与共享存储 HA 的锁相关

High CPU usage on idle AMQ Artemis cluster, related to locks with shared-store HA

high-availability

activemq-artemis