weblogic.socket.Muxer 使用 100% cpu

Question

我们最近开始体验使用 weblogic.Deployer 实用程序在 Weblogic 12c 中进行部署。我们可以很好地部署 EAR，但是每当我们尝试在托管服务器运行的情况下取消部署该应用程序时，它将开始使用我们的 100% CPU（4 核 Xeon，裸机）。

经过一些修补和无数线程转储后，我们可以将问题隔离在 4 个卡住的线程上。他们每个人都在一个核心上消耗了100%。平均负载会在 5 分钟内从大约 0.10 跃升至 4.00。

这是似乎卡住的线程：

"ExecuteThread: '3' for queue: 'weblogic.socket.Muxer'" daemon prio=10 tid=0x00007fb52801c800 nid=0x6bf0 runnable [0x00007fb58a0ad000]
   java.lang.Thread.State: RUNNABLE
        at sun.nio.ch.EPollArrayWrapper.epollWait(Native Method)
        at sun.nio.ch.EPollArrayWrapper.poll(EPollArrayWrapper.java:269)
        at sun.nio.ch.EPollSelectorImpl.doSelect(EPollSelectorImpl.java:79)
        at sun.nio.ch.SelectorImpl.lockAndDoSelect(SelectorImpl.java:87)
        - locked <0x00000000e18c66d0> (a sun.nio.ch.Util)
        - locked <0x00000000e18c66c0> (a java.util.Collections$UnmodifiableSet)
        - locked <0x00000000e18c6598> (a sun.nio.ch.EPollSelectorImpl)
        at sun.nio.ch.SelectorImpl.select(SelectorImpl.java:98)
        at sun.nio.ch.SelectorImpl.select(SelectorImpl.java:102)
        at weblogic.socket.NIOSocketMuxer.selectFrom(NIOSocketMuxer.java:541)
        at weblogic.socket.NIOSocketMuxer.processSockets(NIOSocketMuxer.java:470)
        at weblogic.socket.SocketReaderRequest.run(SocketReaderRequest.java:30)
        at weblogic.socket.SocketReaderRequest.execute(SocketReaderRequest.java:43)
        at weblogic.kernel.ExecuteThread.execute(ExecuteThread.java:147)
        at weblogic.kernel.ExecuteThread.run(ExecuteThread.java:119)

我似乎有很多人遇到同样的问题（但不是 Weblogic）：

https://github.com/netty/netty/issues/327

https://issues.jboss.org/browse/XNIO-172

Why does select() consume so much CPU time in my program?

我认为这不会发生，因为旧的 JDK 版本。 java -version 说：

java version "1.7.0_67"
Java(TM) SE Runtime Environment (build 1.7.0_67-b01)
Java HotSpot(TM) 64-Bit Server VM (build 24.65-b04, mixed mode)

我用谷歌搜索了一下，但没有找到任何相关信息。各位 WL 专家知道这个问题的原因是什么吗？

非常感谢！

Answer 1

经过大量的修补，一个几乎不眠的夜晚和谷歌搜索直到我流血，我几乎可以肯定我已经解决了。

此解决方案很大程度上基于另一个线程：

总而言之，GC 线程冲突（很可能）导致了这里的问题。在我的虚拟机上应用了一些参数后，它就神奇地解决了。

-XX:+UseConcMarkSweepGC 
-XX:+UseParNewGC 
-XX:ParallelCMSThreads=2 
-XX:+CMSParallelRemarkEnabled 
-XX:+CMSIncrementalMode 
-XX:+CMSIncrementalPacing 
-XX:CMSFullGCsBeforeCompaction=1 
-XX:+CMSClassUnloadingEnabled 
-XX:CMSInitiatingOccupancyFraction=80

如果有人遇到过同样的问题，这可以作为尝试让事情恢复正常的尝试。

干杯。

Answer 2

我遇到了同样的问题。我设法通过使用以下设置解决了它：

1.使用 posix 混合器：

set('MuxerClass', 'weblogic.socket.PosixSocketMuxer')

见Weblogic tunning

2。添加启动参数：

-Djava.nio.channels.spi.SelectorProvider=sun.nio.ch.PollSelectorProvider -DUseSunHttpHandler=true

sun.nio.ch.PollSelectorProvider 使用 linux poll 而不是 epoll_wait
-DUseSunHttpHandler=true绕过使用weblogic http socket实现

Answer 3

这是 Weblogic 12c 的一个已知问题，作为以下 Oracle 支持文档发布：

由于 weblogic.socket.NIOSocketMuxer 在 WLS 12.1.2+ 中的使用导致的性能问题（文档 ID 2128032.1）(link)

提供的解决方法是切换到使用本机 Muxer class，如 Omar MEBARKI 的回答中所述。

本文未解决此处其他答案中提到的任何或其他解决方法。

weblogic.socket.Muxer 使用 100% cpu

weblogic.socket.Muxer uses 100% cpu

java

oracle

multithreading

weblogic

weblogic12c