如何在 Java 中使用 Spliterator 测试并行处理的性能

Question

假设我们有一个数据结构，它也实现了一个拆分器。用于测试使用该拆分器的并行处理是否实际上比顺序处理更好的样板代码是什么？

Answer 1

要测试拆分器本身，您可以创建顺序和并行流，并使用简单的归约操作以最小的开销对其进行归约。例如：

@Benchmark
public sequential(Blackhole bh) {
    bh.consume(StreamSupport.stream(myContainer.spliterator(), false).reduce((a, b) -> a));
}

@Benchmark
public parallel(Blackhole bh) {
    bh.consume(StreamSupport.stream(myContainer.spliterator(), true).reduce((a, b) -> a));
}

通常更重要的是检查您的并行拆分器是否对任何 trySplit/tryAdvance/forEachRemaining 调用序列正常工作。在测试速度之前，最好彻底测试正确性。

创建更接近现实生活的测试可能也是一个好主意。想一想您的数据结构将如何在生产代码中使用，并创建并行和顺序实施此类真实示例的测试。这样的结果将与您的数据结构的用户更相关。

Answer 2

虽然已经涵盖了基础知识，但您应该牢记以下几点：

并行处理可以更快的两个原因

由于内存带宽限制，数据结构的绝对大小限制了单个内核可以处理的内容
管道中的 intermediate/collector 个步骤非常昂贵，以至于并行执行它们可以分摊并行化开销

后者已经可以在更小的数据结构大小甚至低效的拆分器行为下得到回报。

理想情况下，您应该同时测试两者，因为渐近良好的性能并不意味着它在曲线的近端表现良好。

如何在 Java 中使用 Spliterator 测试并行处理的性能

How to test the performance of parallel processing with Spliterators in Java

java

parallel-processing

java-8

spliterator