Spacy 3.0 训练自定义 NER --> 验证此自定义 NER 模型
Spacy 3.0 Training custom NER --> Validation of this custom NER model
我训练了一个自定义的 SpaCy 命名实体识别模型来检测职位描述中有偏见的词。现在我训练了 8 个变体(使用不同的基础模型、训练模型和管道设置),我想评估哪个模型表现最好。
但是..我找不到任何关于这些模型验证的文档。
在输出文件夹中的 meta.json 文件中有一些召回率、f1 分数和精度,但这还不够。
有人知道如何验证或者可以 link 我找到正确的文档吗?文档似乎无处可寻。
注意:谈论 SpaCy V3.x
在培训期间,您应该提供可用于验证的“评估数据”。这将在训练期间定期评估并打印适当的分数。
请注意,有很多不同的术语在使用,但在 spaCy 中有您实际训练的“训练数据”和“评估数据”,它不是训练,只是在训练过程中用于评分。要评估保留的测试数据,您可以使用 cli evaluate 命令。
查看 this fashion brands example project 以了解如何配置和使用“eval”数据。
我训练了一个自定义的 SpaCy 命名实体识别模型来检测职位描述中有偏见的词。现在我训练了 8 个变体(使用不同的基础模型、训练模型和管道设置),我想评估哪个模型表现最好。
但是..我找不到任何关于这些模型验证的文档。 在输出文件夹中的 meta.json 文件中有一些召回率、f1 分数和精度,但这还不够。
有人知道如何验证或者可以 link 我找到正确的文档吗?文档似乎无处可寻。
注意:谈论 SpaCy V3.x
在培训期间,您应该提供可用于验证的“评估数据”。这将在训练期间定期评估并打印适当的分数。
请注意,有很多不同的术语在使用,但在 spaCy 中有您实际训练的“训练数据”和“评估数据”,它不是训练,只是在训练过程中用于评分。要评估保留的测试数据,您可以使用 cli evaluate 命令。
查看 this fashion brands example project 以了解如何配置和使用“eval”数据。