如何找到我的 word2vec 模型的准确度、精确度、召回率和 f1 分数?

How to find accuracy, precision, recall, f1 score for my word2vec model?

我正在做一个项目来寻找产品之间的相似性。该模型将 excel 数据 sheet 分成 90% 训练/10% 验证。当我手动检查验证时,模型运行良好。但是我在评估过程中遇到了麻烦。我应该如何找到准确度、精确度、召回率和 F1 分数来了解我的模型的效果?

我是机器学习的新手,还在学习中,请给我一些从哪里开始的线索。

Word2vec 是一种被认为是 'unsupervised' 的算法 – 它不是使用指定的 'correct' 答案进行训练,而是从任何数据中的模式中学习。因此,没有 'accuracy'、'precision' 等 word2vec 的原生概念——这些概念仅在与一组所需答案相关时才有意义。

因此,要计算这些值,您必须在其他下游任务中使用这些词向量,并为该下游任务设计您自己的评估。然后您可以计算整个系统的准确性和其他值(包括 word2vec 步骤)。这可能包括应用您或其他评论者的判断,判断在某些情况下“应该”的结果是什么。

没有任何数据示例,尚不清楚您的 Word2Vec 模型在做什么,以及产品在其中的表示方式。 (您创建的 customers_train 列表中的各个项目是什么?产品 names/identifiers 从哪里来?您需要执行哪些类型的相似性问题或最终用户操作?)