使用 spaCy Matcher 的简单示例不起作用

Question

我正在尝试使用 spaCy Matcher 获得以下简单示例：

import en_core_web_sm
from spacy.matcher import Matcher

nlp = en_core_web_sm.load()
matcher = Matcher(nlp.vocab)

pattern1 = [{'IS_DIGIT': True}, {'ORTH': '.'}, {'IS_DIGIT': True}, {'ORTH': '.'}, {'IS_DIGIT': True}, {'ORTH': '.'}, {'IS_DIGIT': True}]
pattern2 = [{'LIKE_NUM': True}, {'ORTH': '.'}, {'LIKE_NUM': True}, {'ORTH': '.'}, {'LIKE_NUM': True}, {'ORTH': '.'}, {'LIKE_NUM': True}]
pattern3 = [{'IS_DIGIT': True}, {'IS_PUNCT': True}, {'IS_DIGIT': True}, {'IS_PUNCT': True}, {'IS_DIGIT': True}, {'IS_PUNCT': True}, {'IS_DIGIT': True}]

matcher.add('IP', None, pattern1, pattern2, pattern3)

doc = nlp(u'This is an IP address: 192.168.1.1')

matches = matcher(doc)

但是，none 个模式匹配，此代码 returns [] 对应 matches。 spaCy 示例代码中提供的简单 "Hello World" 示例工作正常。

我做错了什么？

Answer 1

使用 Matcher 时，请记住模式中的每个字典代表 一个单独的标记 。这也意味着它找到的匹配项取决于 spaCy 如何标记您的文本。默认情况下，spaCy 的英文分词器会像这样拆分您的示例文本：

>>> doc = nlp("This is an IP address: 192.168.1.1")
>>> [t.text for t in doc]
['This', 'is', 'an', 'IP', 'address', ':', '192.168.1.1']

192.168.1.1 保留一个标记（客观上，这可能是相当合理的——一个 IP 地址可以被认为是一个词）。因此，期望它的一部分是单个标记的匹配模式将不匹配。

为了改变这种行为，您可以 customise the tokenizer 使用一条附加规则告诉 spaCy 在数字之间拆分句点。但是，这也可能会产生其他意想不到的副作用。

因此，在您的情况下，更好的方法是使用令牌形状，可作为 token.shape_ 属性使用。形状是描述单个字符的令牌的字符串表示形式，以及它们是否包含数字、uppercase/lowercase 个字符和标点符号。 IP 地址形状如下所示：

>>> ip_address = doc[6]
>>> ip_address.shape_
'ddd.ddd.d.d'

您可以只过滤文档并检查 token.shape_ == 'ddd.ddd.d.d'，或者使用 'SHAPE' 作为匹配模式中的键（对于单个标记）来查找包含以下标记的句子或短语那种形状。

使用 spaCy Matcher 的简单示例不起作用

Trivial example using spaCy Matcher not working

spacy