为什么 JMH 对不同的实现显示相同的结果？

Question

JMH 对不同的方法显示相同的结果，无论这些方法是否包含任何代码。

示例1：待测空方法

public class MyBenchmark {
    public static void main(String[] args) throws Exception {
        org.openjdk.jmh.Main.main(args);
    }

    @Fork(value = 1, warmups = 0)
    @Benchmark
    @BenchmarkMode(Mode.AverageTime)
    @Warmup(iterations = 5)
    public String run() {
        return "done";
    }
}

运行这段代码的结果是1e-8s/op。

示例 2：需要做一些工作的方法：

public class MyBenchmark {
    public static void main(String[] args) throws Exception {
        for (int i = 0; i < 10000000; i++) {
            list.add(i);
        }
        org.openjdk.jmh.Main.main(args);
    }

    private static List<Integer> list = new ArrayList<>();

    @Fork(value = 1, warmups = 0)
    @Benchmark
    @BenchmarkMode(Mode.AverageTime)
    @Warmup(iterations = 5)
    public String run() {
        List<Integer> copy = new ArrayList<>();
        for (Integer item : list) {
            copy.add(item);
        }
        return "done";
    }
}

结果是一样的：1e-8s/op。

因此，基准测试显然不起作用。可能出了什么问题？

Answer 1

您使用的时间尺度不正确 - 每次操作的秒数。对于您的无操作测试来说，它似乎太大了。只需将以下参数 @OutputTimeUnit(TimeUnit.NANOSECONDS) 添加到您的测试中：

import org.openjdk.jmh.annotations.*;

import java.util.concurrent.TimeUnit;

public class MyBenchmark {
    public static void main(String[] args) throws Exception {
        org.openjdk.jmh.Main.main(args);
    }

    @Fork(value = 1, warmups = 0)
    @Benchmark
    @BenchmarkMode(Mode.AverageTime)
    @Warmup(iterations = 5)
    @OutputTimeUnit(TimeUnit.NANOSECONDS)
    public String run() {
        return "done";
    }
}

结果如下：

# Run complete. Total time: 00:00:25

Benchmark        Mode  Cnt  Score   Error  Units
MyBenchmark.run  avgt   20  5.390 ± 0.264  ns/op

关于你的第二个例子，它包含了几乎所有可能的issues/pitfalls:

死代码消除 - JVM 足够智能，可以无副作用地检测循环并将其从方法体中删除。
测量错误
不正确的初始化 - JMH 有特殊注释 Setup 和 State 用于正确的基准初始化

这是您示例的 "correct" 版本（我刚刚删除了不经意的错误）：

import org.openjdk.jmh.annotations.*;

import java.util.ArrayList;
import java.util.List;
import java.util.concurrent.TimeUnit;

@State(Scope.Benchmark)
@Fork(value = 1)
public class MyBenchmark {

    private List<Integer> list;

    @Setup
    public void init() {
        list = new ArrayList<>();
        for (int i = 0; i < 10000000; i++) {
            list.add(i);
        }
    }

    @Benchmark
    @BenchmarkMode(Mode.AverageTime)
    @Warmup(iterations = 5)
    @OutputTimeUnit(TimeUnit.NANOSECONDS)
    public Object run() {
        List<Integer> copy = new ArrayList<>();
        for (Integer item : list) {
            copy.add(item);
        }
        return copy;
    }
}

有延迟：

# Run progress: 0.00% complete, ETA 00:00:25
# Fork: 1 of 1
# Warmup Iteration   1: 2488116493.000 ns/op
# Warmup Iteration   2: 201271178.600 ns/op

为了了解微基准测试的所有可能问题，请阅读 the following examples。

为什么 JMH 对不同的实现显示相同的结果？

Why does JMH shows the same results for different implementations?

java

jvm

jmh