GridSearchCV/RandomizedSearchCV 的结果无法由运行使用相同参数的单个模型重现

Question

我运行使用 5 倍的 RandomizedSearchCV 来找到最佳参数。我有一个用于预测的保留集 (X_test)。我的代码部分是：

svc= SVC(class_weight=class_weights, random_state=42)
Cs = [0.01, 0.1, 1, 10, 100, 1000, 10000]
gammas = [1e-1, 1e-2, 1e-3, 1e-4, 1e-5]

param_grid = {'C': Cs,
              'gamma': gammas,
              'kernel': ['linear', 'rbf', 'poly']}

my_cv = TimeSeriesSplit(n_splits=5).split(X_train)
rs_svm = RandomizedSearchCV(SVC(), param_grid, cv = my_cv, scoring='accuracy', 
                              refit='accuracy', verbose = 3, n_jobs=1, random_state=42)
rs_svm.fit(X_train, y_train)
y_pred = rs_svm.predict(X_test)
cm = confusion_matrix(y_test, y_pred)
clfreport = classification_report(y_test, y_pred)
print (rs_svm.best_params_)

结果为分类报告：

现在，我有兴趣使用具有所选参数的运行单独模型（无随机搜索 CV）重现此结果：

from sklearn.model_selection import TimeSeriesSplit
tcsv=TimeSeriesSplit(n_splits=5)
for train_index, test_index in tcsv.split(X_train):
    train_index_ = int(train_index.shape[0])
    test_index_ = int(test_index.shape[0])
    X_train_, y_train_ = X_train[0:train_index_],y_train[0:train_index_]
    X_test_, y_test_ = X_train[test_index_:],y_train[test_index_:]
    class_weights = compute_class_weight('balanced', np.unique(y_train_), y_train_)
    class_weights = dict(enumerate(class_weights))
    svc= SVC(C=0.01, gamma=0.1, kernel='linear', class_weight=class_weights, verbose=True,
             random_state=42)
    svc.fit(X_train_, y_train_)
    
y_pred_=svc.predict(X_test)
cm = confusion_matrix(y_test, y_pred_)
clfreport = classification_report(y_test, y_pred_)

根据我的理解，clfreports 应该是相同的，但我在运行之后的结果是：

有人对为什么会发生这种情况有任何建议吗？

Answer 1

鉴于您的第一个代码片段，您在其中使用 RandomizedSearchCV 找到最佳超参数，您不需要再次进行任何拆分；因此，在您的第二个片段中，您应该使用找到的超参数和 class 权重使用整个训练集进行拟合，然后在您的测试集上进行预测：

class_weights = compute_class_weight('balanced', np.unique(y_train), y_train)
class_weights = dict(enumerate(class_weights))
svc= SVC(C=0.01, gamma=0.1, kernel='linear', class_weight=class_weights, verbose=True, random_state=42)
svc.fit(X_train, y_train)

y_pred_=svc.predict(X_test)
cm = confusion_matrix(y_test, y_pred)
clfreport = classification_report(y_test, y_pred)

中的讨论可能有助于阐明程序...

GridSearchCV/RandomizedSearchCV 的结果无法由运行使用相同参数的单个模型重现

Results from GridSearchCV/RandomizedSearchCV cannot be reproduced by running a single model using the same parameters

python

machine-learning

scikit-learn

cross-validation

grid-search

GridSearchCV/RandomizedSearchCV 的结果无法由 运行 使用相同参数的单个模型重现

Results from GridSearchCV/RandomizedSearchCV cannot be reproduced by running a single model using the same parameters

python

machine-learning

scikit-learn

cross-validation

grid-search

GridSearchCV/RandomizedSearchCV 的结果无法由运行使用相同参数的单个模型重现