Java Future 的重复超时导致 JVM 运行内存不足

Question

我们的 Java 应用程序遇到一个问题，当它尝试写入位于 NFS 共享上的日志文件并且 NFS 共享已关闭时，它会无限期地阻塞。

我想知道我们是否可以通过让 Future 超时执行写操作来解决这个问题。这是我写的一个小测试程序：

public class write_with_future {
    public static void main(String[] args) {
        int iteration=0;
        while (true) {
            System.out.println("iteration " + ++iteration);

            ExecutorService executorService = Executors.newSingleThreadExecutor();
            Future future = executorService.submit(new Runnable() {
                public void run() {
                    try {
                        Category fileLogCategory = Category.getInstance("name");
                        FileAppender fileAppender = new FileAppender(new SimpleLayout(), "/usr/local/app/log/write_with_future.log");
                        fileLogCategory.addAppender(fileAppender);
                        fileLogCategory.log(Priority.INFO, System.currentTimeMillis());
                        fileLogCategory.removeAppender(fileAppender);
                        fileAppender.close();
                    }
                    catch (IOException e) {
                        System.out.println("IOException: " + e);
                    }
                }
            });

            try {
                future.get(100L, TimeUnit.MILLISECONDS);
            }
            catch (InterruptedException ie) {
                System.out.println("Current thread interrupted while waiting for task to complete: " + ie);
            }
            catch (ExecutionException ee) {
                System.out.println("Exception from task: " + ee);
            }
            catch (TimeoutException te) {
                System.out.println("Task timed out: " + te);
            }
            finally {
                future.cancel(true);
            }

            executorService.shutdownNow();
        }
    }
}

当我运行这个最大堆大小为 1 MB 的程序，并且 NFS 共享可用时，这个程序在我停止它之前能够执行超过 100 万次迭代。

但是当我运行最大堆大小为 1 MB 的程序并且 NFS 共享已关闭时，程序执行了 584 次迭代，每次都出现 TimeoutException，然后失败并显示 java.lang.OutOfMemoryError错误。所以我在想，即使 future.cancel(true) 和 executorService.shutdownNow() 被调用，执行线程在写入时被阻塞并且不响应中断，并且程序最终耗尽内存。

有没有办法清理被阻塞的执行线程？

Answer 1

如果出现 Thread.interrupt() 不会中断在 NFS 文件上的 I/O 操作中阻塞的线程。您可能需要检查 NFS 挂载选项，但我怀疑您无法解决该问题。

但是，您当然可以防止它导致 OOME。你得到这些的原因是你没有使用 ExecutorServices，因为它们是为使用而设计的。你所做的是重复创建和关闭单线程服务。您应该做的是在实例上创建一个有界线程池并将其用于所有任务。如果你这样做，如果其中一个线程需要很长时间......或者在 I/O 中被阻塞......你不会得到线程的积累，并且运行出来的记忆。相反，积压的任务将位于 ExecutorService 的工作队列中，直到其中一个工作线程解除阻塞。

Java Future 的重复超时导致 JVM 运行内存不足

Repeated timeouts with Java Future causes JVM to run out of memory

java

future

out-of-memory

executorservice

Java Future 的重复超时导致 JVM 运行 内存不足

Repeated timeouts with Java Future causes JVM to run out of memory

java

future

out-of-memory

executorservice

Java Future 的重复超时导致 JVM 运行内存不足