如何使用 lightgbm.cv 进行回归？

Question

我想用 lgb.Dataset 和 early_stopping_rounds 对 LightGBM 模型进行交叉验证。以下方法适用于 XGBoost 的 xgboost.cv 没有问题。我不喜欢将 Scikit Learn 的方法与 GridSearchCV 一起使用，因为它不支持提前停止或 lgb.Dataset.

import lightgbm as lgb
from sklearn.metrics import mean_absolute_error
dftrainLGB = lgb.Dataset(data = dftrain, label = ytrain, feature_name = list(dftrain))

params = {'objective': 'regression'}
    
cv_results = lgb.cv(
        params,
        dftrainLGB,
        num_boost_round=100,
        nfold=3,
        metrics='mae',
        early_stopping_rounds=10
        )

任务是做回归，但是下面的代码会报错：

Supported target types are: ('binary', 'multiclass'). Got 'continuous' instead.

LightGBM 是否支持回归，还是我提供了错误的参数？

Answer 1

默认情况下，lightgbm.cv 中的分层参数为 True。根据 the documentation:

stratified (bool, optional (default=True)) – Whether to perform stratified sampling.

但是分层只适用于分类问题。因此，要使用回归，您需要将其设为 False。

cv_results = lgb.cv(
        params,
        dftrainLGB,
        num_boost_round=100,
        nfold=3,
        metrics='mae',
        early_stopping_rounds=10,

        # This is what I added
        stratified=False
        )

现在可以使用了。

如何使用 lightgbm.cv 进行回归？

How to use lightgbm.cv for regression?

python

regression

cross-validation

lightgbm