聚合方法如何聚合 MLR 中的性能指标？
How do the aggregation methods aggregate performance metrics in MLR?
在MLR R包中，有聚合参数调优模型性能指标的方法，如train.mean、train.sd、test.mean、test.sd .我想知道聚合过程是如何完成的。
据我目前的了解，聚合似乎是在折叠级别进行的。
假设重复 10 次，交叉验证 5 次，总共有 10*5 个测试误差估计，因此测试误差的标准差是 50 个估计的变化。 但我想要的是重复级别的误差估计，所以对于每次重复，我都有一个由内部 5 倍平均的误差估计，然后我想要的测试误差标准差应该是 10 次重复的 10 次估计的变化。
我想知道如何做到这一点。有没有什么方法可以为每个重新采样中的每个调整参数提取原始性能指标？
正确，聚合是在折叠级别完成的。
没有实现在重复级别上聚合的选项，您必须自己编写代码。
我们不会再将此功能添加到 {mlr}。请参阅 this issue 了解如何在 {mlr3} 中执行此操作。
我发现有两个聚合函数似乎在重复级别 "testgroup.sd" 和 "testgroup.mean" 上起作用。根据他们在 mlr.mlr-org.com/reference/aggregations.html
中的描述