spacy:每个句子每个类型只设置一个实体
spacy: set only one entity per type per sentence
我是 spacy
的新手,发现文档对于初学者来说相当复杂。我当前的项目要求我创建一个带有自定义实体的新模型,我按照 this article.
进行了操作
现在,我正在处理的句子每个句子每个类型只有一个或 none 个实体。
虚拟示例: 约翰 (PERSON
) 是美国人 (NATIONALITY
) . 句子中只有一个 PERSON
标签,并且只有一个 NATIONALITY
标签。
我遇到的问题是,当我将新句子传递给模型时,有时它会识别多个 PERSON
,即使总是有一个或 none。
虚拟示例: 约翰 (PERSON
) 去了麦当劳 (PERSON
).
我的问题是:有没有办法让模型在每个句子中只识别一种类型的实体?
(在最后一个例子中,我假设模型会知道 John 比 McDonald's 更适合并选择 John 作为唯一的 PERSON
).
我不认为 spaCy 开箱即用地支持您正在寻找的内容。你必须在 spaCy 给你的东西之上实现一些东西,以便每个句子只保留一种类型的实体。您将如何做到这一点也不清楚,因为基于转换的解析器 NER 没有为实体预测分配分数,您可以对这些预测进行排名以选择最佳预测。
根据您的使用情况,如果这些是短句并且您只需要每种类型一个实体,那么选择第一个可能就足够了?
不,没有办法做到这一点。事先知道每个句子只有一个特定实体是不典型的,因此 NER 通常不会在设计时考虑到这一点。
您可以改用 spancat 模型来获取分数并选择每种类型中得分最高的实体,但您必须从头开始训练它。此外,您的问题似乎与传统 NER 非常接近,NER 所做的假设通常应该有助于您的准确性。
我是 spacy
的新手,发现文档对于初学者来说相当复杂。我当前的项目要求我创建一个带有自定义实体的新模型,我按照 this article.
现在,我正在处理的句子每个句子每个类型只有一个或 none 个实体。
虚拟示例: 约翰 (PERSON
) 是美国人 (NATIONALITY
) . 句子中只有一个 PERSON
标签,并且只有一个 NATIONALITY
标签。
我遇到的问题是,当我将新句子传递给模型时,有时它会识别多个 PERSON
,即使总是有一个或 none。
虚拟示例: 约翰 (PERSON
) 去了麦当劳 (PERSON
).
我的问题是:有没有办法让模型在每个句子中只识别一种类型的实体?
(在最后一个例子中,我假设模型会知道 John 比 McDonald's 更适合并选择 John 作为唯一的 PERSON
).
我不认为 spaCy 开箱即用地支持您正在寻找的内容。你必须在 spaCy 给你的东西之上实现一些东西,以便每个句子只保留一种类型的实体。您将如何做到这一点也不清楚,因为基于转换的解析器 NER 没有为实体预测分配分数,您可以对这些预测进行排名以选择最佳预测。
根据您的使用情况,如果这些是短句并且您只需要每种类型一个实体,那么选择第一个可能就足够了?
不,没有办法做到这一点。事先知道每个句子只有一个特定实体是不典型的,因此 NER 通常不会在设计时考虑到这一点。
您可以改用 spancat 模型来获取分数并选择每种类型中得分最高的实体,但您必须从头开始训练它。此外,您的问题似乎与传统 NER 非常接近,NER 所做的假设通常应该有助于您的准确性。