正则表达式与小字符串的蛮力

Question

在测试小字符串（例如 isPhoneNumber 或 isHexadecimal）时，使用正则表达式是否有性能优势，或者暴力破解它们会更快吗？仅通过检查给定字符串的字符是否在指定范围内来强制执行它们会不会比使用正则表达式更快？

例如：

public static boolean isHexadecimal(String value)
{
    if (value.startsWith("-"))
    {
        value = value.substring(1);
    }

    value = value.toLowerCase();

    if (value.length() <= 2 || !value.startsWith("0x"))
    {
        return false;
    }

    for (int i = 2; i < value.length(); i++)
    {
        char c = value.charAt(i);

        if (!(c >= '0' && c <= '9' || c >= 'a' && c <= 'f'))
        {
            return false;
        }
    }

    return true;
}

对比

Regex.match(/0x[0-9a-f]+/, "0x123fa") // returns true if regex matches whole given expression

似乎有一些与正则表达式相关的开销，即使模式是预编译的，只是因为正则表达式必须在许多一般情况下工作。相比之下，蛮力方法完全满足要求，仅此而已。我是否遗漏了正则表达式的一些优化？

Answer 1

检查字符串字符是否在一定范围内正是构建正则表达式的目的。他们将表达式转换为一系列原子指令；他们实质上是在写出您的手动解析步骤，但级别较低。

正则表达式往往比较慢的是将表达式转换为指令。当多次使用正则表达式时，您可以看到真正的性能提升。那时您可以提前编译表达式，然后简单地将生成的编译指令应用于匹配、搜索、替换等。

与任何与性能有关的情况一样，执行一些测试并测量结果。

Answer 2

正则表达式有很多优点，但正则表达式仍然存在性能问题。

Answer 3

蛮力解决问题的方法是系统地测试所有组合。这不是你的情况。

您可以从手写程序中获得更好的性能。如果您事先知道，您可以利用数据分发。或者您可以制作一些适用于您的案例的巧妙快捷方式。但是真的不能保证你写的东西会自动比正则表达式更快。 Regex 实现也得到了优化，您很容易得到比这更糟糕的代码。

您问题中的代码确实没有什么特别之处，很可能与正则表达式相当。当我测试它时，没有明显的赢家，有时一个更快，有时另一个，差异很小。你的时间有限，请慎重考虑。

Answer 4

通常什么更好取决于您的目标。如果可读性是主要目标（它应该是什么，除非您检测到性能问题）那么正则表达式就可以了。

如果性能是你的目标，那你就得先分析问题。例如。如果您知道它是一个 phone 数字或一个十六进制数字（仅此而已），那么问题就变得简单多了。

现在让我们看一下检测十六进制数的函数（性能方面）：

获取子字符串不好（通常创建一个新对象），最好使用索引并推进它。
与其使用 toLower()，不如比较大小写字母（字符串只迭代一次，没有执行多余的替换，也没有创建新对象）。

因此性能优化版本可能看起来像这样（您可以通过使用 charArray 而不是字符串来进一步优化）：

public static final boolean isHexadecimal(String value) {
  if (value.length() < 3)
    return false;
  int idx;
  if (value.charAt(0) == '-' || value.charAt(0) == '+') { // also supports unary plus
    if (value.length() < 4) // necessairy because -0x and +0x are not valid
      return false;
    idx = 1;
  } else {
    idx = 0;
  }
  if (value.chartAt(idx) != '0' || value.charAt(idx + 1) != 'x')
    return false;
  for (idx += 2; idx < value.length(); idx++) {
    char c = value.charAt(idx);
    if (!((c >= '0' && c <= '9') || (c >= 'a' && c <= 'f') || (c >= 'A' && c <= 'F')))
      return false;
  }
  return true;
}

Answer 5

Well implemented 正则表达式可以比相同模式的简单暴力执行更快。另一方面，您总是可以针对特定情况实施更快的解决方案。同样如上文所述，大多数流行语言的实现效率不高（在某些情况下）。

只有当性能是绝对优先事项并且进行了大量测试和分析时，我才会实施自己的解决方案。

Answer 6

我写了一个小的基准来估计性能：

NOP 方法（了解基线迭代速度）；
原始方法，由 OP 提供；
正则表达式；
已编译正则表达式；
@maraca提供的版本(w/o toLowerCase and substring);
"fastIsHex"版本（基于switch），我添加只是为了好玩。

测试机配置如下：

JVM：Java(TM) SE 运行时间环境（build 1.8.0_101-b13）
CPU：英特尔(R) 酷睿(TM) i5-2500 CPU @ 3.30GHz

这里是我得到的原始测试字符串 "0x123fa" 和 10.000.000 次迭代的结果：

Method "NOP" => #10000000 iterations in 9ms
Method "isHexadecimal (OP)" => #10000000 iterations in 300ms
Method "RegExp" => #10000000 iterations in 4270ms
Method "RegExp (Compiled)" => #10000000 iterations in 1025ms
Method "isHexadecimal (maraca)" => #10000000 iterations in 135ms
Method "fastIsHex" => #10000000 iterations in 107ms

如您所见，即使是 OP 的原始方法也比 RegExp 方法更快（至少在使用 JDK 提供的 RegExp 实现时）。

（供您参考）

基准代码：

public static void main(String[] argv) throws Exception {
    //Number of ITERATIONS
    final int ITERATIONS = 10000000;

    //NOP
    benchmark(ITERATIONS,"NOP",() -> nop(longHexText));

    //isHexadecimal
    benchmark(ITERATIONS,"isHexadecimal (OP)",() -> isHexadecimal(longHexText));

    //Un-compiled regexp
    benchmark(ITERATIONS,"RegExp",() -> longHexText.matches("0x[0-9a-fA-F]+"));

    //Pre-compiled regexp
    final Pattern pattern = Pattern.compile("0x[0-9a-fA-F]+");
    benchmark(ITERATIONS,"RegExp (Compiled)", () -> {
        pattern.matcher(longHexText).matches();
    });

    //isHexadecimal (maraca)
    benchmark(ITERATIONS,"isHexadecimal (maraca)",() -> isHexadecimalMaraca(longHexText));

    //FastIsHex
    benchmark(ITERATIONS,"fastIsHex",() -> fastIsHex(longHexText));
}

public static void benchmark(int iterations,String name,Runnable block) {
    //Start Time
    long stime = System.currentTimeMillis();

    //Benchmark
    for(int i = 0; i < iterations; i++) {
        block.run();
    }

    //Done
    System.out.println(
        String.format("Method \"%s\" => #%d iterations in %dms",name,iterations,(System.currentTimeMillis()-stime))
    );
}

NOP 方法：

public static boolean nop(String value) { return true; }

fastIsHex 方法：

public static boolean fastIsHex(String value) {

    //Value must be at least 4 characters long (0x00)
    if(value.length() < 4) {
        return false;
    }

    //Compute where the data starts
    int start = ((value.charAt(0) == '-') ? 1 : 0) + 2;

    //Check prefix
    if(value.charAt(start-2) != '0' || value.charAt(start-1) != 'x') {
        return false;
    }

    //Verify data
    for(int i = start; i < value.length(); i++) {
        switch(value.charAt(i)) {
            case '0':case '1':case '2':case '3':case '4':case '5':case '6':case '7':case '8':case '9':
            case 'a':case 'b':case 'c':case 'd':case 'e':case 'f':
            case 'A':case 'B':case 'C':case 'D':case 'E':case 'F':
                continue;

            default:
                return false;
        }
    }

    return true;
}

所以，答案是否定的，对于短字符串和手头的任务，RegExp 并不快。

当涉及到更长的弦时，平衡就完全不同了，下面是 8192 长十六进制字符串的结果，我生成了：

hexdump -n 8196 -v -e '/1 "%02X"' /dev/urandom

和 10.000 次迭代：

Method "NOP" => #10000 iterations in 2ms
Method "isHexadecimal (OP)" => #10000 iterations in 1512ms
Method "RegExp" => #10000 iterations in 1303ms
Method "RegExp (Compiled)" => #10000 iterations in 1263ms
Method "isHexadecimal (maraca)" => #10000 iterations in 553ms
Method "fastIsHex" => #10000 iterations in 530ms

如您所见，手写方法（macara 和我的 fastIsHex 的方法）仍然优于 RegExp，但是原来的方法没有，（由于 substring() 和 toLowerCase()）。

旁注：

这个基准测试确实非常简单，仅测试 "worst case" 场景（即完全有效的字符串），真实结果，混合数据长度和非 0 有效-无效比率，可能完全不同。

更新：

我也试了一下char[]数组版本：

 char[] chars = value.toCharArray();
 for (idx += 2; idx < chars.length; idx++) { ... }

它甚至比 getCharAt(i) 版本还要慢一点：

  Method "isHexadecimal (maraca) char[] array version" => #10000000 iterations in 194ms
  Method "fastIsHex, char[] array version" => #10000000 iterations in 164ms

我的猜测是由于 toCharArray.

中的数组复制

更新（#2）：

我已经运行进行了额外的 8k/100.000 次迭代测试，以查看 "maraca" 和 "fastIsHex" 方法之间的速度是否存在任何真正的差异，并且还对它们进行了标准化使用完全相同的前提条件代码：

运行#1

Method "isHexadecimal (maraca) *normalized" => #100000 iterations in 5341ms
Method "fastIsHex" => #100000 iterations in 5313ms

运行#2

Method "isHexadecimal (maraca) *normalized" => #100000 iterations in 5313ms
Method "fastIsHex" => #100000 iterations in 5334ms

即这两种方法之间的速度差异充其量是微不足道的，并且可能是由于测量错误（因为我运行在我的工作站上使用它而不是专门设置的干净测试环境）。

Answer 7

您误用了术语 "brute force." 更好的术语是 ad hoc 自定义匹配。

正则表达式解释器通常比自定义模式匹配器慢。正则表达式被编译成字节码，编译需要时间。即使忽略编译（如果你只编译一次并多次匹配一个很长的字符串 and/or 可能会很好，所以编译成本并不重要），匹配解释器中花费的机器指令是自定义匹配器没有的开销没有。

在正则表达式匹配器胜出的情况下，通常是正则表达式引擎以非常快的本机代码实现，而自定义匹配器的编写速度较慢。

现在您可以将正则表达式编译为本地代码，其运行速度与完善的自定义匹配器一样快。这是例如的方法lex/flex 等。但最常见的库或内置语言不采用这种方法（Java、Python、Perl 等）。他们使用口译员。

本机代码生成库使用起来往往很麻烦，除非在 C/C++ 中它们已经存在了几十年。

在其他语言中，我是状态机的粉丝。对我来说，它们比正则表达式或自定义匹配器更容易理解和正确。以下是您的问题之一。状态 0 是起始状态，D 代表一个十六进制数字。

机器的执行速度极快。在 Java 中，它可能看起来像这样：

static boolean isHex(String s) {
  int state = 0;
  for (int i = 0; i < s.length(); i++) {
    char c = s.charAt(i);
    switch (state) {
      case 0:
        if (c == '-') state = 1;
        else if (c == '0') state = 2;
        else return false;
        break;
      case 1:
        if (c == '0') state = 2;
        else return false;
        break;
      case 2:
        if (c == 'x') state = 3;
        else return false;
        break;
      case 3:
        if (isHexDigit(c)) state = 4;
        else return false;
        break;
      case 4:
        if (isHexDigit(c)) ; // state already = 4
        else return false;
        break;
    }
  }
  return true;
}

static boolean isHexDigit(char c) {
  return '0' <= c && c <= '9' || 'A' <= c && c <= 'F' || 'a' <= c && c <= 'f';
}

代码不是很短，但它是图表的直接翻译。除了简单的印刷错误，没有什么可以搞砸的。

在 C 中，您可以将状态实现为 goto 标签：

int isHex(char *s) {
  char c;
  s0:
    c = *s++;
    if (c == '-') goto s1;
    if (c == '0') goto s2;
    return 0;
  s1:
    c = *s++;
    if (c == '0') goto s2;
    return 0;
  s2:
    c = *s++;
    if (c == 'x') goto s3;
    return 0;
  s3:
    c = *s++;
    if (isxdigit(c)) goto s4;
    return 0;
  s4: 
    c = *s++;
    if (isxdigit(c)) goto s4;
    if (c == '[=11=]') return 1;
    return 0;
}

这种用C写的goto匹配器一般是我见过最快的。在我使用旧 gcc (4.6.4) 的 MacBook 上，这个只能编译成 35 条机器指令。

Answer 8

为了获得比简单的手工编码验证器更好的性能，您可以使用基于确定性自动机的正则表达式库，例如Brics Automaton

我写了一个简短的 jmh 基准测试：

@State(Scope.Thread)
public abstract class MatcherBenchmark {

   private String longHexText;

   @Setup
   public void setup() {
     initPattern("0x[0-9a-fA-F]+");
     this.longHexText = "0x123fa";
   }

   public abstract void initPattern(String pattern);

   @Benchmark
   @BenchmarkMode(Mode.AverageTime)
   @OutputTimeUnit(TimeUnit.MICROSECONDS)
   @Warmup(iterations = 10)
   @Measurement(iterations = 10)
   @Fork(1)
   public void benchmark() {
     boolean result =  benchmark(longHexText);
     if (!result) {
        throw new RuntimeException();
     }
   }

   public abstract boolean benchmark(String text);

   @TearDown
   public void tearDown() {
     donePattern();
     this.longHexText = null;
   }

   public abstract void donePattern();

}

并通过以下方式实施：

@Override
public void initPattern(String pattern) {
    RegExp r = new RegExp(pattern);
    this.automaton = new RunAutomaton(r.toAutomaton(true));
}

@Override
public boolean benchmark(String text) {
    return automaton.run(text);
}

我还为 Zeppelins、Genes 和编译的 java.util.Regex 解决方案以及 rexlex 的解决方案创建了基准。这些是我机器上 jmh 基准测试的结果：

BricsMatcherBenchmark.benchmark      avgt   10  0,014 �  0,001  us/op
GenesMatcherBenchmark.benchmark      avgt   10  0,017 �  0,001  us/op
JavaRegexMatcherBenchmark.benchmark  avgt   10  0,097 �  0,005  us/op
RexlexMatcherBenchmark.benchmark     avgt   10  0,061 �  0,002  us/op
ZeppelinsBenchmark.benchmark         avgt   10  0,008 �  0,001  us/op

使用非十六进制数字 0x123fax 启动相同的基准测试会产生以下结果（注意：我在 benchmark 中为该基准测试颠倒了验证）

BricsMatcherBenchmark.benchmark      avgt   10  0,015 �  0,001  us/op
GenesMatcherBenchmark.benchmark      avgt   10  0,019 �  0,001  us/op
JavaRegexMatcherBenchmark.benchmark  avgt   10  0,102 �  0,001  us/op
RexlexMatcherBenchmark.benchmark     avgt   10  0,052 �  0,002  us/op
ZeppelinsBenchmark.benchmark         avgt   10  0,009 �  0,001  us/op

正则表达式与小字符串的蛮力

Regex vs brute-force for small strings

regex

string

performance

brute-force