Spacy 3.0 训练自定义 NER --> 验证此自定义 NER 模型

Spacy 3.0 Training custom NER --> Validation of this custom NER model

我训练了一个自定义的 SpaCy 命名实体识别模型来检测职位描述中有偏见的词。现在我训练了 8 个变体(使用不同的基础模型、训练模型和管道设置),我想评估哪个模型表现最好。

但是..我找不到任何关于这些模型验证的文档。 在输出文件夹中的 meta.json 文件中有一些召回率、f1 分数和精度,但这还不够。

有人知道如何验证或者可以 link 我找到正确的文档吗?文档似乎无处可寻。

注意:谈论 SpaCy V3.x

在培训期间,您应该提供可用于验证的“评估数据”。这将在训练期间定期评估并打印适当的分数。

请注意,有很多不同的术语在使用,但在 spaCy 中有您实际训练的“训练数据”和“评估数据”,它不是训练,只是在训练过程中用于评分。要评估保留的测试数据,您可以使用 cli evaluate 命令。

查看 this fashion brands example project 以了解如何配置和使用“eval”数据。