在 Spacy 3.0 中使用预训练的 BERT 嵌入作为 textcat 模型的输入
Using pretrained BERT embeddings as input to textcat models in Spacy 3.0
我正在尝试转移到 Spacy 3.0 的训练配置文件框架,但在将设置调整到我想做的事情时遇到了问题。简而言之,我想使用一种开箱即用的 textcat 模型(例如,词袋),但传入由预训练转换器(例如,bert base cased)生成的词嵌入,而不进行任何微调。到目前为止,我一直在使用 Spacy 网站上提供的 texcat 配置模板。
如有任何帮助,我们将不胜感激。如有必要,我可以提供更多详细信息。谢谢!
尝试以下配置。 -G
切换到 transformer
并且 -o accuracy
切换到 textcat 集成模型:
spacy init config -p textcat -G -o accuracy config.cfg
我正在尝试转移到 Spacy 3.0 的训练配置文件框架,但在将设置调整到我想做的事情时遇到了问题。简而言之,我想使用一种开箱即用的 textcat 模型(例如,词袋),但传入由预训练转换器(例如,bert base cased)生成的词嵌入,而不进行任何微调。到目前为止,我一直在使用 Spacy 网站上提供的 texcat 配置模板。
如有任何帮助,我们将不胜感激。如有必要,我可以提供更多详细信息。谢谢!
尝试以下配置。 -G
切换到 transformer
并且 -o accuracy
切换到 textcat 集成模型:
spacy init config -p textcat -G -o accuracy config.cfg