如何在 R 中实现正则化/权重衰减
How to implement regularization / weight decay in R
令我惊讶的是,R 神经网络包的数量似乎没有 regularization/lambda/weight 衰减参数。我假设我遗漏了一些明显的东西。当我使用像 MLR 这样的包并查看 integrated learners 时,我没有看到正则化参数。
例如:来自 deepnet 包的 nnTrain:
list of params
我看到几乎所有东西的参数 - 甚至掉线 - 但不是 lambda 或任何其他看起来像正则化的东西。
我对 caret
和 mlr
的理解是,它们基本上组织了其他 ML 包,并尝试提供与它们交互的一致方式。我没有在其中任何一个中找到 L1/L2 正则化。
我还进行了 20 次 google 搜索以寻找具有正则化的 R 包,但一无所获。我错过了什么?谢谢!
我查看了 mlr
中的更多模型(一项艰巨的任务),最终找到了 h2o
包学习器。在mlr
中,classif.h2o.deeplearning
模型有我能想到的所有参数,包括L1和L2。
安装 h2o
非常简单:
install.packages('h2o')
令我惊讶的是,R 神经网络包的数量似乎没有 regularization/lambda/weight 衰减参数。我假设我遗漏了一些明显的东西。当我使用像 MLR 这样的包并查看 integrated learners 时,我没有看到正则化参数。
例如:来自 deepnet 包的 nnTrain:
list of params
我看到几乎所有东西的参数 - 甚至掉线 - 但不是 lambda 或任何其他看起来像正则化的东西。
我对 caret
和 mlr
的理解是,它们基本上组织了其他 ML 包,并尝试提供与它们交互的一致方式。我没有在其中任何一个中找到 L1/L2 正则化。
我还进行了 20 次 google 搜索以寻找具有正则化的 R 包,但一无所获。我错过了什么?谢谢!
我查看了 mlr
中的更多模型(一项艰巨的任务),最终找到了 h2o
包学习器。在mlr
中,classif.h2o.deeplearning
模型有我能想到的所有参数,包括L1和L2。
安装 h2o
非常简单:
install.packages('h2o')