堆叠分类器上的分类器数量是否必须等于我的 training/testing 数据集的列数？

Question

我正在尝试解决二元分类任务。训练数据集包含 9 个特征，在我的特征工程之后，我最终拥有 14 个特征。我想使用堆叠分类器方法 mlxtend.classifier.StackingClassifier 通过使用 4 个不同的分类器，但是在尝试预测测试数据集时出现错误：ValueError: query data dimension must match training data dimension

%%time
models=[KNeighborsClassifier(weights='distance'),
        GaussianNB(),SGDClassifier(loss='hinge'),XGBClassifier()]
calibrated_models=Calibrated_classifier(models,return_names=False)
meta=LogisticRegression()
stacker=StackingCVClassifier(classifiers=calibrated_models,meta_classifier=meta,use_probas=True).fit(X.values,y.values)

备注：在我的代码中，我刚刚编写了一个函数来 return 一个带有校准分类器的列表 StackingCVClassifier 我已经检查过这不会导致错误

备注 2：我已经尝试从头开始执行堆垛机并得到相同的结果，所以我认为我自己的堆垛机有问题

from sklearn.linear_model import LogisticRegression
def StackingClassifier(X,y,models,stacker=LogisticRegression(),return_data=True):
  names,ls=[],[]
  predictions=pd.DataFrame()
  for model in models:
    names.append(str(model)[:str(model).find('(')])

  for i,model in enumerate(models):
    model.fit(X,y)
    ls=model.predict_proba(X)[:,1]
    predictions[names[i]]=ls
  if return_data:
    return predictions
  else:
    return stacker.fit(predictions,y)

你能帮我理解堆叠分类器的正确用法吗？

编辑： 这是我的校准分类器代码。此函数采用 n 个分类器列表并将 sklearn fucntion CalibratedClassifierCV 应用于每个分类器，returns 是一个包含 n 个校准分类器的列表。您可以选择 return 作为 zip 列表，因为此功能主要用于与 sklearn's VotingClassifier

一起使用

def Calibrated_classifier(models,method='sigmoid',return_names=True):
  calibrated,names=[],[]
  for model in models:
    names.append(str(model)[:str(model).find('(')])

  for model in models:
    clf=CalibratedClassifierCV(base_estimator=model,method=method)
    calibrated.append(clf)
  if return_names:
    return zip(names,calibrated)
  else: 
    return calibrated

Answer 1

我已经用鸢尾花数据集试过你的代码。它工作正常，我认为问题出在你的测试数据的维度上，而不是校准上。

from sklearn.linear_model import LogisticRegression
from mlxtend.classifier import StackingCVClassifier
from sklearn import datasets
X, y = datasets.load_iris(return_X_y=True)


models=[KNeighborsClassifier(weights='distance'),
        SGDClassifier(loss='hinge')]
calibrated_models=Calibrated_classifier(models,return_names=False)
meta=LogisticRegression( multi_class='ovr')
stacker = StackingCVClassifier(classifiers=calibrated_models,
                               meta_classifier=meta,use_probas=True,cv=3).fit(X,y)

预测

stacker.predict([X[0]])
#array([0])

堆叠分类器上的分类器数量是否必须等于我的 training/testing 数据集的列数？

Does the number of classifiers on stacking classifier have to be equal to the number of columns of my training/testing dataset?

machine-learning

scikit-learn

ensemble-learning

mlxtend

预测