使用提前停止时对增强轮数施加限制?
Imposing floor on the number of boosting rounds when using early stopping?
在 xgboost 或 lightgbm 等提升树算法的超参数优化过程中,是否可以在使用提前停止时直接控制提升轮次 (estimators/trees) 的最小(而不仅仅是最大)次数?这种需求的动机是观察到在太少轮次后停止训练的模型一直欠拟合(其指标明显低于最先进的模型,这些模型往往有更多的提升轮次)。
我知道的唯一解决方案是间接的:调整链接的超参数 - 学习率(降低其在搜索中的上限 space)。当设置得太高时,学习率会导致模型拟合不足,从而使训练停止得太快,即提升轮数太少。
您是否尝试过改变设置停止回合数的参数?
根据所使用的数据、轮次和学习率,我看到这个参数设置低至 5,高至 500。
如果您提供一些示例数据和代码,可能会更容易提出一些建议。
在 xgboost 或 lightgbm 等提升树算法的超参数优化过程中,是否可以在使用提前停止时直接控制提升轮次 (estimators/trees) 的最小(而不仅仅是最大)次数?这种需求的动机是观察到在太少轮次后停止训练的模型一直欠拟合(其指标明显低于最先进的模型,这些模型往往有更多的提升轮次)。
我知道的唯一解决方案是间接的:调整链接的超参数 - 学习率(降低其在搜索中的上限 space)。当设置得太高时,学习率会导致模型拟合不足,从而使训练停止得太快,即提升轮数太少。
您是否尝试过改变设置停止回合数的参数? 根据所使用的数据、轮次和学习率,我看到这个参数设置低至 5,高至 500。
如果您提供一些示例数据和代码,可能会更容易提出一些建议。