在 Java 中创建过多线程

Question

我在 Java 应用程序中使用线程来部分获取数据（使用网络调用）。我有一个方法（不在线程 class 中），它创建一个给定大小 （最大 10-15） 的线程池并将它们用于网络调用，并且我在循环中多次调用该方法。

当我运行在慢速机器（3 GB RAM，Pentium-IV）上运行此应用程序时，一切正常，但当我运行它在 iMac（32 GB RAM）上运行时, i7 处理器), 它创建了太多线程, 有时大约 2,500 并抛出内存不足错误。

我怀疑 JVM 没有在完成后立即将已完成的线程放回池中，因此它正在创建新线程。

即使在 iMac 上，如果我保持 Thread.sleep(1000)；在我上面提到的 for 循环中，一切正常。虽然创建了大约 900 个线程。

以下是此应用程序的代码示例：

public ArrayList<String> getValuesForKeyFromMaps(String key, ArrayList<Meta> locations) throws InterruptedException, ExecutionException {

    int threadNum = locations.size(); // 10-15 at max

    ExecutorService executor = Executors.newFixedThreadPool(threadNum);
    List<FutureTask<ArrayList<String>>> taskList = new ArrayList<FutureTask<ArrayList<String>>>();

    for(final Meta location : locations){

        FutureTask<ArrayList<String>> futureTask_1 = new FutureTask<ArrayList<String>>(new Callable<ArrayList<String>>() {
            public ArrayList<String> call() throws Exception {
                // Service call
                return getValues(key, location);
            }
        });
        taskList.add(futureTask_1);
        executor.execute(futureTask_1);

    }

    ArrayList<String> values = new ArrayList<String>();

    // Wait until all results are available and combine them at the same time
    for (int j = 0; j < threadNum; j++) {
        FutureTask<ArrayList<String>> futureTask = taskList.get(j);
        values.addAll(futureTask.get());
    }
    executor.shutdown();
    return values;
}

如果我在 iMac 上使用下面的 for 循环调用上述方法，它会引发内存错误，因为它创建了大约 2,500 个线程。但它在较慢的机器上运行良好。

    for(String key : keySet){
        getValuesForKeyFromMaps(key, metaMap.get(key));
    }

并且，使用下面的代码，在 iMac 上它可以在大约 900 个线程下正常工作。

    for(String key : keySet) {
        getValuesForKeyFromMaps(key, metaMap.get(key));
        Thread.sleep(200); // Sleeping for 200 ms
    }

如果我将上述 for 循环中的休眠时间增加到 1000 ms,，它只会创建 30-50 个线程并且应用程序运行良好。

如何控制应用程序中允许的最大线程数？我打算在给定时间最多 create/use 10-15 个线程，但是 Java 创建的线程太多了。

Answer 1

不是 Java 创建了太多线程；你是！

不要在每次调用函数时都创建一个执行器。如果你有 100 个集合，每个集合有 100 个元素，你将创建 10,000 个线程——这非常耗费资源……而且毫无意义。

ExecutorService executor = Executors.newFixedThreadPool(threadNum);

您很可能有 8 个内核 - 只需创建一个具有 8 个线程的执行器并在任何地方使用它。您的代码将运行得更快，您的应用程序将消耗更少、更少的资源。

熟悉这个 code review singleton executor 问题。您也许可以在您的应用程序中使用该解决方案。

Answer 2

通过使用 ExecutorService executor = Executors.newFixedThreadPool(threadNum);，您将为 getValuesForKeyFromMaps 的每次调用创建一个新的线程池。因此，当您的 keySet 包含 100 个条目时，您最终会得到 100 个池，每个池有 10-15 个线程。保留一个线程池作为实例变量或 class 变量，并在需要时使用它。

在 Java 中创建过多线程

Creating too many threads in Java

java

multithreading

out-of-memory

executorservice

java-threads