如何在 NER 和 QA 模型之间做出选择?

How to decide between NER and QA Model?

我正在完成一项涉及 NLP 和转换器的任务。我想识别文本语料库中的相关特征。如果我要从工作描述中提取相关特征,例如工作中将使用的工具(powerpoint、excel、java 等)以及所需的熟练程度,则此任务更适合命名实体识别模型或问答模型。

如果我要像处理 NER 任务一样处理它,我会为训练数据中的所有相关工具贴上标签,并希望它能很好地泛化。我可以像 QA 模型一样处理问题,并询问诸如“这项工作需要什么工具”之类的问题,并提供描述作为上下文。

我打算使用 transformers 库,除非我缺少更好的工具来完成这项任务。我希望提取许多功能,所以并非所有功能都像从列表(编程语言、Microsoft Office 等)中获取关键字那样简单。

这些方法中的一种是否更合适,或者我是否缺少解决问题的更好方法。

感谢任何帮助。谢谢!

看你说的,好像是实体识别任务。但是,您应该自己提出和回答的问题是:

  • 您的用户将如何与模型互动?

    • 结构化信息 → 实体识别。
    • 聊天机器人 → QA。
  • 您是否要从文本中提取一组预定义的实体?

    • 是 → 实体识别。
    • 否 → 质量检查。
  • 你的微调训练数据怎么样?

    • 只有少数 → 实体识别。
    • 大量数据,question-answer 对 → QA。