如何将现有的 huggingface-transformers 模型转化为 spacy？
How to use existing huggingface-transformers model into spacy?
我来这里是想问问你们是否可以使用现有的训练有素的 huggingface-transformers 模型和 spacy。
我第一次天真的尝试是通过 spacy.load('bert-base-uncased') 加载它，但没有成功，因为 spacy 需要一定的结构，这是可以理解的。
现在我想弄清楚如何使用 spacy-transformers 库加载模型、创建 spacy 结构，并从那时起将其用作普通的 spacy 感知模型。
我不知道这是否可行，因为我找不到与该主题相关的任何信息。我试图阅读文档，但我发现的所有指南、示例和帖子都是从像 spacy/en_core_web_sm 这样的空间结构模型开始的，但该模型最初是如何创建的？我相信有人必须用 spacy 再次训练所有东西。
我能得到你的帮助吗？
谢谢。
您要做的是将一个 Transformer 组件添加到您的管道中，并将您的 HuggingFace 模型的名称作为参数提供给它。这是 covered in the docs，尽管人们确实很难找到它。重要的是要了解 Transformer 只是 spaCy 管道的一部分，您应该了解它们是如何组合在一起的。
要从文档中提取，这就是您在配置中指定自定义模型的方式：
[components.transformer.model]
@architectures = "spacy-transformers.TransformerModel.v3"
# XXX You can change the model name here
name = "bert-base-cased"
tokenizer_config = {"use_fast": true}
回到为什么需要了解 spaCy 的结构，了解在 spaCy 中，Transformers 只是特征的来源非常重要。如果您的 HuggingFace 模型有 NER 头或其他东西，它将无法工作。 因此，如果您使用自定义模型，则需要在它之上训练其他组件，例如 NER。
另请注意，spaCy 具有多种非变形金刚内置模型。它们的训练速度非常快，并且在许多情况下可以提供与变形金刚相当的性能；即使它们不那么准确，您也可以使用内置模型来配置您的管道，然后只需换入一个 Transformer。
all guides, examples, and posts I found, start from a spacy structured model like spacy/en_core_web_sm, but how did that model was created in the first place?
你看到quickstart了吗？预训练模型是使用类似于您从中获得的配置创建的。
我来这里是想问问你们是否可以使用现有的训练有素的 huggingface-transformers 模型和 spacy。
我第一次天真的尝试是通过 spacy.load('bert-base-uncased') 加载它，但没有成功，因为 spacy 需要一定的结构，这是可以理解的。
现在我想弄清楚如何使用 spacy-transformers 库加载模型、创建 spacy 结构，并从那时起将其用作普通的 spacy 感知模型。
我不知道这是否可行，因为我找不到与该主题相关的任何信息。我试图阅读文档，但我发现的所有指南、示例和帖子都是从像 spacy/en_core_web_sm 这样的空间结构模型开始的，但该模型最初是如何创建的？我相信有人必须用 spacy 再次训练所有东西。
我能得到你的帮助吗？
谢谢。
您要做的是将一个 Transformer 组件添加到您的管道中，并将您的 HuggingFace 模型的名称作为参数提供给它。这是 covered in the docs，尽管人们确实很难找到它。重要的是要了解 Transformer 只是 spaCy 管道的一部分，您应该了解它们是如何组合在一起的。
要从文档中提取，这就是您在配置中指定自定义模型的方式：
[components.transformer.model]
@architectures = "spacy-transformers.TransformerModel.v3"
# XXX You can change the model name here
name = "bert-base-cased"
tokenizer_config = {"use_fast": true}
回到为什么需要了解 spaCy 的结构，了解在 spaCy 中，Transformers 只是特征的来源非常重要。如果您的 HuggingFace 模型有 NER 头或其他东西，它将无法工作。 因此，如果您使用自定义模型，则需要在它之上训练其他组件，例如 NER。
另请注意，spaCy 具有多种非变形金刚内置模型。它们的训练速度非常快，并且在许多情况下可以提供与变形金刚相当的性能；即使它们不那么准确，您也可以使用内置模型来配置您的管道，然后只需换入一个 Transformer。
all guides, examples, and posts I found, start from a spacy structured model like spacy/en_core_web_sm, but how did that model was created in the first place?
你看到quickstart了吗？预训练模型是使用类似于您从中获得的配置创建的。