如何在 NER 和 QA 模型之间做出选择?
How to decide between NER and QA Model?
我正在完成一项涉及 NLP 和转换器的任务。我想识别文本语料库中的相关特征。如果我要从工作描述中提取相关特征,例如工作中将使用的工具(powerpoint、excel、java 等)以及所需的熟练程度,则此任务更适合命名实体识别模型或问答模型。
如果我要像处理 NER 任务一样处理它,我会为训练数据中的所有相关工具贴上标签,并希望它能很好地泛化。我可以像 QA 模型一样处理问题,并询问诸如“这项工作需要什么工具”之类的问题,并提供描述作为上下文。
我打算使用 transformers 库,除非我缺少更好的工具来完成这项任务。我希望提取许多功能,所以并非所有功能都像从列表(编程语言、Microsoft Office 等)中获取关键字那样简单。
这些方法中的一种是否更合适,或者我是否缺少解决问题的更好方法。
感谢任何帮助。谢谢!
看你说的,好像是实体识别任务。但是,您应该自己提出和回答的问题是:
您的用户将如何与模型互动?
- 结构化信息 → 实体识别。
- 聊天机器人 → QA。
您是否要从文本中提取一组预定义的实体?
- 是 → 实体识别。
- 否 → 质量检查。
你的微调训练数据怎么样?
- 只有少数 → 实体识别。
- 大量数据,question-answer 对 → QA。
我正在完成一项涉及 NLP 和转换器的任务。我想识别文本语料库中的相关特征。如果我要从工作描述中提取相关特征,例如工作中将使用的工具(powerpoint、excel、java 等)以及所需的熟练程度,则此任务更适合命名实体识别模型或问答模型。
如果我要像处理 NER 任务一样处理它,我会为训练数据中的所有相关工具贴上标签,并希望它能很好地泛化。我可以像 QA 模型一样处理问题,并询问诸如“这项工作需要什么工具”之类的问题,并提供描述作为上下文。
我打算使用 transformers 库,除非我缺少更好的工具来完成这项任务。我希望提取许多功能,所以并非所有功能都像从列表(编程语言、Microsoft Office 等)中获取关键字那样简单。
这些方法中的一种是否更合适,或者我是否缺少解决问题的更好方法。
感谢任何帮助。谢谢!
看你说的,好像是实体识别任务。但是,您应该自己提出和回答的问题是:
您的用户将如何与模型互动?
- 结构化信息 → 实体识别。
- 聊天机器人 → QA。
您是否要从文本中提取一组预定义的实体?
- 是 → 实体识别。
- 否 → 质量检查。
你的微调训练数据怎么样?
- 只有少数 → 实体识别。
- 大量数据,question-answer 对 → QA。