StandardFilter在Lucene5.3.1中到底做了什么？

Question

我没有在文档中找到任何示例。它只是说："Normalizes tokens extracted with StandardTokenizer.".

文档是什么意思："Normalizes"？

Answer 1

根据 API 文档：

Normalizes tokens extracted with StandardTokenizer.

但实际上，答案是：绝对没有。

public class StandardFilter extends TokenFilter {
  public StandardFilter(TokenStream in) {
    super(in);
  }

  @Override
  public final boolean incrementToken() throws IOException {
    return input.incrementToken(); // TODO: add some niceties for the new grammar
  }
}

这与 TokenFilter 一样简单。它接受令牌，然后将它们再次吐出，保持不变。

在 Lucene 2.X 中，它对撇号做了一些工作，从首字母缩略词中删除点等，在 3.X 和 4.X 中，它保留了该代码以实现向后兼容性。从 5.0 开始，向后兼容性支持已被删除，过滤器不再执行任何操作（尽管将来肯定会）。

StandardFilter在Lucene5.3.1中到底做了什么？

What does StandardFilter exactly do in Lucene5.3.1?

java

lucene

information-retrieval