逻辑回归模型和集成模型（Bagging 和 Boosting）之间没有区别

Question

我试图比较逻辑回归模型和一些集成模型（bagging 和 boosting），逻辑回归作为它们的基础估计量。但是，令人惊讶的是，我对所有三个分类器都得到了相同的分数：

• LogisticRegression()
• BaggingClassifier(base_estimator=LogisticRegression())
• AdaBoostClassifier(base_estimator=LogisticRegression())

这是我的代码，请帮助我。

lr = LogisticRegression()
lr.fit(x_train, y_train).score(x_test, y_test)

bagging_clf = BaggingClassifier(base_estimator=LogisticRegression(), n_estimators=50, bootstrap=True)
bagging_clf.fit(x_train, y_train).score(x_test, y_test)

adaboost_clf = AdaBoostClassifier(base_estimator=LogisticRegression(), learning_rate=1, n_estimators=50)
adaboost_clf.fit(x_train, y_train).score(x_test, y_test)

所有分类器的得分为 0.9063627039010026。

Answer 1

Bagging 和 Boosting 分别适用于非常过拟合和非常欠拟合的基础模型。用逻辑回归做任何一个都不太可能产生显着的效果。您可能确实得到了一些更改，但您只报告了 score，默认情况下这将是准确度分数；如果您的测试规模很小，那么可能不会有太多不同的值。