mlr 相当于 R 中的插入符号模型选择函数

mlr equivalent of carets model selectionFunction in R

R 中的插入符库在 trainControl() 中有一个超参数 'selectionFunction'。 它用于防止使用 Breiman 的一个标准错误规则或公差等的过度拟合模型。

mlr 有对应的吗？如果有，它在哪个函数中？

mlr只允许通过优化某些measures/metrics.

来选择最佳超参数

然而，mlr中的每个"measure"本质上只是一个指定如何处理特定性能的函数。 您可以尝试编写自己的自定义度量，如 this vignette.

中所述

除此之外，可能值得在新的 mlr3 框架中将其作为功能请求打开，特别是在 mlr3measures 中，因为 mlr 本身已被弃用。

发布我自己的问题的答案，我发现 this.。

估计相对过度拟合。

来源：R/relativeOverfitting.R

将模型的相对过度拟合估计为测试和训练性能差异与无信息情况下测试性能和训练性能差异的比率。在无信息情况下，特征不携带关于预测的信息。这是通过排列特征和预测来模拟的。

estimateRelativeOverfitting(
  predish,
  measures,
  task,
  learner = NULL,
  pred.train = NULL,
  iter = 1
)

参数

  • predish - (ResampleDesc ResamplePrediction Prediction)重采样策略或重采样预测或测试预测。
  • 措施 - (Measure list of Measure) Performance measure(s) to evaluate. Default is the default measure for the task, see here getDefaultMeasure.
  • 任务 - (Task) 任务。
  • 学习者 - (Learner character(1)) The learner. If you pass a string the learner will be created via makeLearner.
  • pred.train - (Prediction) 训练预测。仅当测试预测通过时才需要。
  • iter - (integer) 迭代次数。默认1，通常不需要指定。仅当测试预测通过时才需要。