java Fork/Join 池、ExecutorService 和 CountDownLatch
java Fork/Join pool, ExecutorService and CountDownLatch
我们在 java 中使用了三种不同的多线程技术 - Fork/Join 池、执行器服务和 CountDownLatch
Fork/Join池 (http://www.javacodegeeks.com/2011/02/java-forkjoin-parallel-programming.html)
Fork/Join 框架旨在使分而治之算法易于并行化。这种算法非常适合可分为两个或多个相同类型的子问题的问题。他们使用递归将问题分解为简单的任务,直到这些任务变得简单到可以直接解决为止。然后将子问题的解决方案组合起来,给出原问题的解决方案
ExecutorService是扩展Executorclass的接口,代表异步执行。它为我们提供了管理结束和检测异步任务进度的机制。
invokeAll() :执行给定的任务,当所有任务完成时返回一个 Futures 列表,保存它们的状态和结果。 Future.isDone() 对于返回列表的每个元素都为真。
CountDownLatch:(http://examples.javacodegeeks.com/core-java/util/concurrent/countdownlatch-concurrent/java-util-concurrent-countdownlatch-example/)
CountDownLatch 用于同步,允许一个或多个线程等待,直到其他线程中执行的一组操作完成。
我的假设:
在这两种选择中,最终结果只有在所有 tasks/threads 完成后才能知道。
这三个选项是互补还是互补?
经过近3个月对各种多线程框架的研究,我找到了问题的答案。
简单易用,控制有限。你可以使用它
- 无需等待即可启动并行独立任务
- 等待完成所有任务
当 Callable/Runnable
任务数量较少并且在无界队列中堆积任务不会导致内存堆积和降低系统性能时,我更喜欢这个。
它隐藏了 ThreadPoolExecutor
的底层细节。它不允许像 ThreadPoolExectuor
那样使用其他参数(Bounded Queue, Rejection Handler
等来微调性能)。
ThreadPoolExecutor(int corePoolSize, int maximumPoolSize, long keepAliveTime,
TimeUnit unit, BlockingQueue<Runnable> workQueue, ThreadFactory threadFactory,
RejectedExecutionHandler handler)
它为您提供更多控制。除了设置最小和最大线程外,您还可以设置队列大小并使 BlockingQueue
有界。
如果您需要以下功能,您可以想出自己的线程工厂
- 设置更具描述性的线程名称
- 设置线程守护进程状态
- 设置线程优先级
如果您的应用程序受到待处理 Runnable/Callable 任务数量的限制,您将通过设置最大容量来使用有界队列。一旦队列达到最大容量,您就可以定义 RejectionHandler。 Java 提供四种 Rejection Handler policies.
在默认 ThreadPoolExecutor.AbortPolicy
中,处理程序在拒绝时抛出运行时 RejectedExecutionException。
在ThreadPoolExecutor.CallerRunsPolicy
中,调用execute的线程自己运行任务。这提供了一种简单的反馈控制机制,可以减慢提交新任务的速度。
在ThreadPoolExecutor.DiscardPolicy
中,无法执行的任务被简单地丢弃。
在ThreadPoolExecutor.DiscardOldestPolicy
中,如果执行器没有关闭,则丢弃工作队列头部的任务,然后重试执行(可能会再次失败,导致这个重复。)
CountDownLatch
:该框架允许 java 线程等待其他线程集完成其任务。
用例:
Achieving Maximum Parallelism: 有时候我们想同时启动多个线程来达到最大并行
等待N个线程完成开始执行其他代码块
死锁检测。
更多详细信息在此 article
中列出
ForkJoinPool
与 Java ExecutorService 类似,但有一处不同。 ForkJoinPool
使任务可以轻松地将其工作拆分为更小的任务,然后也将这些任务提交给 ForkJoinPool。当空闲工作线程从繁忙的工作线程队列中窃取任务时,任务窃取发生在 ForkJoinPool 中。
public ForkJoinPool(int parallelism,
ForkJoinPool.ForkJoinWorkerThreadFactory factory,
Thread.UncaughtExceptionHandler handler,
boolean asyncMode)
Creates a ForkJoinPool with the given parameters.
参数:
并行度 - 并行度级别。对于默认值,使用 Runtime.availableProcessors()
.
factory - 创建新线程的工厂。对于默认值,使用
defaultForkJoinWorkerThreadFactory.
handler - 由于不可恢复的错误而终止的内部工作线程的处理程序
asyncMode - 如果为真,则建立本地先进先出调度模式
对于从未加入的分叉任务。
关于主要查询:
您可以使用 ExecutorService.invokeAll()
或 CountDownLatch
框架或 ForkJoinPool
。所有这些框架都是相互补充的,从高到低的粒度控制任务的执行。
编辑:
看看相关的SE问题:
What are the advantages of using an ExecutorService?
Java's Fork/Join vs ExecutorService - when to use which?
我们在 java 中使用了三种不同的多线程技术 - Fork/Join 池、执行器服务和 CountDownLatch
Fork/Join池 (http://www.javacodegeeks.com/2011/02/java-forkjoin-parallel-programming.html)
Fork/Join 框架旨在使分而治之算法易于并行化。这种算法非常适合可分为两个或多个相同类型的子问题的问题。他们使用递归将问题分解为简单的任务,直到这些任务变得简单到可以直接解决为止。然后将子问题的解决方案组合起来,给出原问题的解决方案
ExecutorService是扩展Executorclass的接口,代表异步执行。它为我们提供了管理结束和检测异步任务进度的机制。
invokeAll() :执行给定的任务,当所有任务完成时返回一个 Futures 列表,保存它们的状态和结果。 Future.isDone() 对于返回列表的每个元素都为真。
CountDownLatch:(http://examples.javacodegeeks.com/core-java/util/concurrent/countdownlatch-concurrent/java-util-concurrent-countdownlatch-example/)
CountDownLatch 用于同步,允许一个或多个线程等待,直到其他线程中执行的一组操作完成。
我的假设:
在这两种选择中,最终结果只有在所有 tasks/threads 完成后才能知道。
这三个选项是互补还是互补?
经过近3个月对各种多线程框架的研究,我找到了问题的答案。
简单易用,控制有限。你可以使用它
- 无需等待即可启动并行独立任务
- 等待完成所有任务
当 Callable/Runnable
任务数量较少并且在无界队列中堆积任务不会导致内存堆积和降低系统性能时,我更喜欢这个。
它隐藏了 ThreadPoolExecutor
的底层细节。它不允许像 ThreadPoolExectuor
那样使用其他参数(Bounded Queue, Rejection Handler
等来微调性能)。
ThreadPoolExecutor(int corePoolSize, int maximumPoolSize, long keepAliveTime,
TimeUnit unit, BlockingQueue<Runnable> workQueue, ThreadFactory threadFactory,
RejectedExecutionHandler handler)
它为您提供更多控制。除了设置最小和最大线程外,您还可以设置队列大小并使 BlockingQueue
有界。
如果您需要以下功能,您可以想出自己的线程工厂
- 设置更具描述性的线程名称
- 设置线程守护进程状态
- 设置线程优先级
如果您的应用程序受到待处理 Runnable/Callable 任务数量的限制,您将通过设置最大容量来使用有界队列。一旦队列达到最大容量,您就可以定义 RejectionHandler。 Java 提供四种 Rejection Handler policies.
在默认
ThreadPoolExecutor.AbortPolicy
中,处理程序在拒绝时抛出运行时 RejectedExecutionException。在
ThreadPoolExecutor.CallerRunsPolicy
中,调用execute的线程自己运行任务。这提供了一种简单的反馈控制机制,可以减慢提交新任务的速度。在
ThreadPoolExecutor.DiscardPolicy
中,无法执行的任务被简单地丢弃。在
ThreadPoolExecutor.DiscardOldestPolicy
中,如果执行器没有关闭,则丢弃工作队列头部的任务,然后重试执行(可能会再次失败,导致这个重复。)
CountDownLatch
:该框架允许 java 线程等待其他线程集完成其任务。
用例:
Achieving Maximum Parallelism: 有时候我们想同时启动多个线程来达到最大并行
等待N个线程完成开始执行其他代码块
死锁检测。
更多详细信息在此 article
中列出ForkJoinPool
与 Java ExecutorService 类似,但有一处不同。 ForkJoinPool
使任务可以轻松地将其工作拆分为更小的任务,然后也将这些任务提交给 ForkJoinPool。当空闲工作线程从繁忙的工作线程队列中窃取任务时,任务窃取发生在 ForkJoinPool 中。
public ForkJoinPool(int parallelism,
ForkJoinPool.ForkJoinWorkerThreadFactory factory,
Thread.UncaughtExceptionHandler handler,
boolean asyncMode)
Creates a ForkJoinPool with the given parameters.
参数:
并行度 - 并行度级别。对于默认值,使用 Runtime.availableProcessors()
.
factory - 创建新线程的工厂。对于默认值,使用 defaultForkJoinWorkerThreadFactory.
handler - 由于不可恢复的错误而终止的内部工作线程的处理程序
asyncMode - 如果为真,则建立本地先进先出调度模式 对于从未加入的分叉任务。
关于主要查询:
您可以使用 ExecutorService.invokeAll()
或 CountDownLatch
框架或 ForkJoinPool
。所有这些框架都是相互补充的,从高到低的粒度控制任务的执行。
编辑:
看看相关的SE问题:
What are the advantages of using an ExecutorService?
Java's Fork/Join vs ExecutorService - when to use which?