Vowpal Wabbit 上的梯度提升
Gradient boosting on Vowpal Wabbit
有没有办法在使用 Vowpal Wabbit 的回归中使用梯度提升？我使用 Vowpal Wabbit 附带的各种有用的技术。我想尝试梯度提升，但我找不到在 VW 上实现梯度提升的方法。
gradient boosting is that an ensemble model is built from black-box weak models. You can surely use VW as the black box, but note that VW does not offer decision trees, which are the most popular choice for the black-box weak models in boosting. Boosting in general decreases bias (and increases variance), so you should make sure that the VW models have low variance (no overfitting). See bias-variance tradeoff的想法。
VW 中有一些与 boosting 和 bagging 相关的减少：
--autolink N增加了一个多项式N的link函数，可以认为是一种简单的提升方式。--log_multi K是K-classclass化的在线提升算法。参见 the paper。您甚至可以将其用于二进制 class化 (K=2)，但不能用于回归。--bootstrap M M-way bootstrap 通过在线重要性重采样。使用 --bs_type=vote 进行 class 化，使用 --bs_type=mean 进行回归。请注意，这是 bagging，而不是提升。--boosting N（添加于 2015-06-17）在线提升 N 个弱学习器，参见 a theoretic paper
有没有办法在使用 Vowpal Wabbit 的回归中使用梯度提升？我使用 Vowpal Wabbit 附带的各种有用的技术。我想尝试梯度提升，但我找不到在 VW 上实现梯度提升的方法。
gradient boosting is that an ensemble model is built from black-box weak models. You can surely use VW as the black box, but note that VW does not offer decision trees, which are the most popular choice for the black-box weak models in boosting. Boosting in general decreases bias (and increases variance), so you should make sure that the VW models have low variance (no overfitting). See bias-variance tradeoff的想法。
VW 中有一些与 boosting 和 bagging 相关的减少：
--autolink N增加了一个多项式N的link函数，可以认为是一种简单的提升方式。--log_multi K是K-classclass化的在线提升算法。参见 the paper。您甚至可以将其用于二进制 class化 (K=2)，但不能用于回归。--bootstrap MM-way bootstrap 通过在线重要性重采样。使用--bs_type=vote进行 class 化，使用--bs_type=mean进行回归。请注意，这是 bagging，而不是提升。--boosting N（添加于 2015-06-17）在线提升 N 个弱学习器，参见 a theoretic paper