Elki 中的评估
Evaluation in Elki
我知道ELKI目前只包含无监督异常值检测方法，因此Elki不划分训练集和测试集的输入数据。
但是，我已经看到评估在可用时超过了少数 class。我想知道：
- elki 是否使用所有输入数据进行评估？
- 运行时是考虑评估还是只考虑训练时间？
- 评估是否考虑异常值分数来估计假阳性率和真阳性率以评估排名？
- 例如，在LOF算法中，假设正常class中的实例具有高LOF分数。在评估中会被认为是假阳性还是真阳性？
谢谢！
是的，所有输入都用于无监督方法。
标签一定不能用于运行算法，它们仅在评估时使用。
报告的运行时间是针对每个算法单独报告的。
这要看你的评价了。大多数措施（例如 ROC AUC）只会考虑 排名。要评估实际分数，您首先需要对其进行归一化。有关考虑（标准化）分数的衡量标准，请参阅
E. Schubert, R. Wojdanowski, A. Zimek, H.-P. Kriegel
On Evaluation of Outlier Rankings and Outlier Scores
In Proceedings of the 12th SIAM International Conference on Data Mining (SDM), Anaheim, CA: 1047–1058, 2012.
真阳性和假阳性需要二元决定。请参阅 ROC AUC，了解一种不需要指定阈值来做出二元决策的方法，而是评估所有可能的阈值。
我知道ELKI目前只包含无监督异常值检测方法，因此Elki不划分训练集和测试集的输入数据。 但是，我已经看到评估在可用时超过了少数 class。我想知道：
- elki 是否使用所有输入数据进行评估？
- 运行时是考虑评估还是只考虑训练时间？
- 评估是否考虑异常值分数来估计假阳性率和真阳性率以评估排名？
- 例如，在LOF算法中，假设正常class中的实例具有高LOF分数。在评估中会被认为是假阳性还是真阳性？
谢谢！
是的，所有输入都用于无监督方法。
标签一定不能用于运行算法，它们仅在评估时使用。
报告的运行时间是针对每个算法单独报告的。
这要看你的评价了。大多数措施（例如 ROC AUC）只会考虑 排名。要评估实际分数，您首先需要对其进行归一化。有关考虑（标准化）分数的衡量标准，请参阅
E. Schubert, R. Wojdanowski, A. Zimek, H.-P. Kriegel
On Evaluation of Outlier Rankings and Outlier Scores
In Proceedings of the 12th SIAM International Conference on Data Mining (SDM), Anaheim, CA: 1047–1058, 2012.真阳性和假阳性需要二元决定。请参阅 ROC AUC，了解一种不需要指定阈值来做出二元决策的方法，而是评估所有可能的阈值。