如何使用 spacy_langdetect 包中的 LanguageDetector()？

Question

我正在尝试使用 spacy_langdetect 包，我能找到的唯一示例代码是 (https://spacy.io/universe/project/spacy-langdetect):

import spacy
from spacy_langdetect import LanguageDetector
nlp = spacy.load("en_core_web_sm")
nlp.add_pipe(LanguageDetector(), name='language_detector', last=True)
text = 'This is an english text.'
doc = nlp(text)
print(doc._.language)

抛出错误：nlp.add_pipe现在采用注册组件工厂的字符串名称，而不是可调用组件。

所以我尝试使用下面的方法添加到我的 nlp 管道中

language_detector = LanguageDetector()
nlp.add_pipe("language_detector")

但这给出了错误：无法找到 'language_detector' 语言英语 (en) 的工厂。当 spaCy 使用未在当前语言 class 上注册的自定义组件名称调用 nlp.create_pipe 时，通常会发生这种情况。如果您使用的是 Transformer，请确保安装 'spacy-transformers'。如果您使用的是自定义组件，请确保已添加装饰器 @Language.component（对于函数组件）或 @Language.factory（对于 class 组件）。可用工厂：attribute_ruler、tok2vec、merge_noun_chunks、merge_entities、merge_subtokens、token_splitter、parser、beam_parser、entity_linker、ner , beam_ner, entity_ruler, lemmatizer, tagger, morphologizer, senter, sentencizer, textcat, textcat_multilabel, en.lemmatizer

我不完全理解如何添加它，因为它不是真正的自定义组件。

Answer 1

对于非内置组件（例如 LanguageDetector）的 spaCy v3.0，您必须先将其包装到一个函数中，然后再将其添加到 nlp 管道中。在您的示例中，您可以执行以下操作：

import spacy
from spacy.language import Language
from spacy_langdetect import LanguageDetector

def get_lang_detector(nlp, name):
    return LanguageDetector()

nlp = spacy.load("en_core_web_sm")
Language.factory("language_detector", func=get_lang_detector)
nlp.add_pipe('language_detector', last=True)
text = 'This is an english text.'
doc = nlp(text)
print(doc._.language)

对于内置组件（即标记器、解析器、神经网络等），请参阅：https://spacy.io/usage/processing-pipelines

Answer 2

与@Eric 相同，但已向工厂装饰器注册：

import spacy
from spacy.language import Language
from spacy_langdetect import LanguageDetector

@Language.factory("language_detector")
def get_lang_detector(nlp, name):
   return LanguageDetector()

nlp = spacy.load("en_core_web_sm")
nlp.add_pipe('language_detector', last=True)
print(nlp("This is an english text.")._.language)

如何使用 spacy_langdetect 包中的 LanguageDetector()？

How to use LanguageDetector() from spacy_langdetect package?

python

spacy