为什么这个 Lucene 查询 return 没有命中？

Question

很久以前，我在 Lucene 中发现了一个错误，希望找到同一个问题的答案。但是很多时间过去了，甚至分析器的开发人员似乎都不愿意回答我的问题，所以我想我会把它扔到地板上看看是否还有其他人可以解释这里发生了什么。

import org.apache.lucene.analysis.Analyzer;
import org.apache.lucene.analysis.ja.JapaneseAnalyzer;
import org.apache.lucene.document.Document;
import org.apache.lucene.document.Field;
import org.apache.lucene.document.TextField;
import org.apache.lucene.index.DirectoryReader;
import org.apache.lucene.index.IndexReader;
import org.apache.lucene.index.IndexWriter;
import org.apache.lucene.index.IndexWriterConfig;
import org.apache.lucene.index.LeafReader;
import org.apache.lucene.index.LeafReaderContext;
import org.apache.lucene.index.MultiFields;
import org.apache.lucene.index.Terms;
import org.apache.lucene.index.TermsEnum;
import org.apache.lucene.queryparser.flexible.standard.StandardQueryParser;
import org.apache.lucene.queryparser.flexible.standard.config.StandardQueryConfigHandler;
import org.apache.lucene.search.IndexSearcher;
import org.apache.lucene.search.Query;
import org.apache.lucene.search.TopDocs;
import org.apache.lucene.store.Directory;
import org.apache.lucene.store.RAMDirectory;
import org.apache.lucene.util.BytesRef;

public class LuceneMissingTerms {
    public static void main(String[] args) throws Exception {
        try (Directory directory = new RAMDirectory()) {
            Analyzer analyser = new JapaneseAnalyzer();

            try (IndexWriter writer = new IndexWriter(directory, new IndexWriterConfig(analyser))) {
                Document document = new Document();
                document.add(new TextField("content", "blah blah commercial blah blah \u79CB\u8449\u539F blah blah", Field.Store.NO));
                writer.addDocument(document);
            }

            try (IndexReader multiReader = DirectoryReader.open(directory)) {
                for (LeafReaderContext leaf : multiReader.leaves()) {
                    LeafReader reader = leaf.reader();

                    Terms terms = MultiFields.getFields(reader).terms("content");
                    TermsEnum termsEnum = terms.iterator();
                    BytesRef text;
                    //noinspection NestedAssignment
                    while ((text = termsEnum.next()) != null) {
                        System.out.println("Term in index: " + text.utf8ToString());
                    }
                }

                StandardQueryParser queryParser = new StandardQueryParser(analyser);
            queryParser.setDefaultOperator(StandardQueryConfigHandler.Operator.AND);
                String queryString = "\"\u79CB\u8449\u539F\"";
                // quoted to work around strange behaviour of StandardQueryParser treating this as a boolean query.
                Query query = queryParser.parse(queryString, "content");
                System.out.println("Performing query: " + queryString);

                TopDocs topDocs = new IndexSearcher(multiReader).search(query, 10);
                System.out.println("Hits count: " + topDocs.totalHits);
            }
        }
    }
}

当你运行这个的时候，输出如下：

Term in index: blah
Term in index: commercial
Term in index: 秋葉原
Performing query: "秋葉原"
Hit count: 0

所以我们在索引中有一个术语，而查询恰好找不到该术语。通常在这种情况下，您在索引时使用的分析器与查询时使用的分析器不同，但在上面的示例中，两者使用的是同一个分析器对象。

所以我假设分析器中存在一个错误，它与单词周围的上下文有关，因为这是两种情况下唯一不同的东西，但我没有一个明确的想法实际问题是什么或我将如何解决它。

另一方面，也许这是预期的行为？如果是这样的话，那么我也可以关闭我的票，最终用户可能会对我们在这个问题上坐了几年才关闭这样的问题感到有点恼火。

Answer 1

在我看来，这确实是有意为之的行为。我根本不了解日语语言分析的来龙去脉，但 Kuromoji 分析器具有拆分多个术语的功能，包括词干分析器，并根据词性进行分析。一堆英文文本中嵌入的日文字符序列对于分析器来说与它们本身的术语或日文全文中的含义不同。

StandardAnalyzer 适用于您提出的特定情况。如果您的实际用例是偶尔在英文文本中使用日语序列，那么您可能应该使用它。它旨在相当好地处理多种语言。

kuromoji 分析器似乎在实际日文全文上运行良好。我尝试为 Akihabara (秋葉原) Japanese Wikipedia page 中的一些内容编制索引，无论在查询中使用或不使用引号，它都运行良好。 Language-specific 分析器包括许多专门针对该语言的额外智能，但作为交换，它们无法像 StandardAnalyzer 那样处理多种语言。

我怀疑这才是真正的问题，测试用例有点太天真了。您的测试文档大部分是英文的，因此 EnglishAnalyzer 或 StandardAnalyzer 都可能比 JapaneseAnalyzer.

更适合搜索它

为什么这个 Lucene 查询 return 没有命中？

Why exactly does this Lucene query return no hits?

java

lucene

lexical-analysis