Spacy-Transformers：访问 GPT-2？

Question

我正在使用 Spacy-Transformers 构建一些 NLP 模型。

Spacy-Transformers docs 说：

spacy-transformers

spaCy pipelines for pretrained BERT, XLNet and GPT-2

该页面上的示例代码显示：

import spacy

nlp = spacy.load("en_core_web_trf")
doc = nlp("Apple shares rose on the news. Apple pie is delicious.")

根据我从这个视频中学到的知识，“en_core_web_trf”似乎是使用 BERT 模型的 spacy.load() 包。我已经搜索了 Spacy-Transformers docs，但还没有看到一个等效的包来访问 GPT-2。是否有特定的 spacy.load() 包，要加载以使用 GPT-2 模型？

Answer 1

en_core_web_trf 使用特定的变形金刚模型，但您可以使用 spacy-transformers 中的 TransformerModel 包装器 class 指定任意模型。请参阅 the docs。示例配置：

[model]
@architectures = "spacy-transformers.TransformerModel.v1"
name = "roberta-base" # this can be the name of any hub model
tokenizer_config = {"use_fast": true}