如何创建名称实体识别并评估其在准确率和召回率方面的表现?
how to Create Name Entity Recognition and evaluate its performance in terms of precision and recall?
我正在研究电影评论数据集中的方面识别(显式和隐式方面)。在这里,方面可以是演员、导演、制作公司、音乐、情节、电影类型等。尽管进行了很多搜索,我已经知道我需要一个用于电影评论数据集的 NER(名称实体识别)。不幸的是,我的数据集没有可用的 NER。
我的问题是:
- 我如何根据 精度、召回 和 F1 测量[来评估我的 "Movie NER" =20=]?
- 为此我应该使用什么工具?
答案:
如果您没有黄金数据,首先您需要注释并创建您自己的黄金数据集。然后你可以使用这些数据进行精确率、召回率、F1 测量计算。
为了 NER 目的,您可以使用基于机器学习的方法。我可以建议您使用 CRF++. You will need to define your own Tag Set and annotate data using IOB technique and use CRF++ for model training and testing purpose. You can use conlleval.pl 来计算算法在精度和召回率方面的准确性。
我正在研究电影评论数据集中的方面识别(显式和隐式方面)。在这里,方面可以是演员、导演、制作公司、音乐、情节、电影类型等。尽管进行了很多搜索,我已经知道我需要一个用于电影评论数据集的 NER(名称实体识别)。不幸的是,我的数据集没有可用的 NER。
我的问题是:
- 我如何根据 精度、召回 和 F1 测量[来评估我的 "Movie NER" =20=]?
- 为此我应该使用什么工具?
答案:
如果您没有黄金数据,首先您需要注释并创建您自己的黄金数据集。然后你可以使用这些数据进行精确率、召回率、F1 测量计算。
为了 NER 目的,您可以使用基于机器学习的方法。我可以建议您使用 CRF++. You will need to define your own Tag Set and annotate data using IOB technique and use CRF++ for model training and testing purpose. You can use conlleval.pl 来计算算法在精度和召回率方面的准确性。