导出 4 个机器学习模型的预测时出错

Question

我正在使用 4 个不同的模型在等于 10 的 kfold 上训练和测试我的约会对象。我希望每个模型都为每个拆分导出预测和更正后的类。

这是我的代码和结果：

for train_index, test_index in kf.split(X, labels):
    print('TRAIN:', train_index,
        'TEST:', test_index) 

    X_train, X_val = X[train_index], X[test_index]
    y_train, y_val = labels[train_index], labels[test_index]


    model1 = LinearSVC()
    model2 = MultinomialNB()
    model3 = LogisticRegression()
    model4 = RandomForestClassifier()

    model1.fit(X_train, y_train)
    model2.fit(X_train, y_train)
    model3.fit(X_train, y_train)
    model4.fit(X_train, y_train)

    result1 = model1.predict(X_val)
    result2 = model2.predict(X_val)
    result3 = model3.predict(X_val)
    result4 = model4.predict(X_val)

    df = pd.DataFrame(data = {"id": X_val, "Prediction": y_val}) 
    df.to_excel('result.xlsx')

到目前为止我在下面有这个但它只打印第一行 (1-198) 但我不明白导出，你能帮我吗

我大约有 2000 个句子。

Answer 1

当您在 KFold == 10 中设置 K 时，.split() 方法会将您的数据集拆分为 10 个部分。对于每次迭代，test_index 将是 i-th 部分的索引，而 train_index 将是其余 9 个部分的索引。

在您的原始代码中，df 显示每次迭代的测试集（X_val、Y_val）（而不是预测）。

我不确定您是否打算这样做，但如果您想查看每个模型的预测，可以使用以下代码：

df = pd.DataFrame(data={
    "id": [],
    "ground_true": [],
    "original_sentence": [],
    "pred_model1": [],
    "pred_model2": [],
    "pred_model3": [],
    "pred_model4": []})

for train_index, test_index in kf.split(X, labels):
    print('TRAIN:', train_index,'TEST:', test_index)

    X_train, X_test = X[train_index], X[test_index]
    y_train, y_test = labels[train_index], labels[test_index]

    model1 = LinearSVC()
    model2 = MultinomialNB()
    model3 = LogisticRegression()
    model4 = RandomForestClassifier()

    model1.fit(X_train, y_train)
    model2.fit(X_train, y_train)
    model3.fit(X_train, y_train)
    model4.fit(X_train, y_train)

    result1 = model1.predict(X_val)
    result2 = model2.predict(X_val)
    result3 = model3.predict(X_val)
    result4 = model4.predict(X_val)

    temp_df = pd.DataFrame(data={
        "id": X_val,
        "ground_true": y_val,
        "original_sentence": verbatim_train_remove_stop_words[test_index],
        "pred_model1": result1,
        "pred_model2": result2,
        "pred_model3": result3,
        "pred_model4": result4})
    df = pd.concat([df, temp_df])

导出 4 个机器学习模型的预测时出错

error when exporting predictions of 4 machine learning models

nlp

classification

svm

prediction

scikit-learn