计算注释者一致性的工具

Question

我正在寻找一种工具，用于在 multi-label classification 的情况下计算两个注释者的注释者间一致性。

我正在尝试使用 ReCal online tool，但 ReCal 似乎不支持多标签分类。

您知道任何用于多标签分类的工具吗？

Answer 1

看看 https://dkpro.github.io/dkpro-statistics/ 。但是，它不是 'ready-to-use tool'，它是一个库，需要一些编码才能使您的数据适合其数据模型。