Keras 的交叉验证如何适合？

Question

我的数据量相当小，所以我决定尝试交叉验证，以便对所有数据进行预测。像这样：

for train_index, test_index in KFold(9, shuffle = True, random_state = 42).split(range(len(df))):
    train_data, test_data = df[train_index], df[test_index]
    train_images, test_images = images[train_index], images[test_index]
    train_labels, test_labels = labels[train_index], labels[test_index]

    model.fit([train_data, train_images], train_labels, epochs = 100, batch_size = 5)

    model.predict([test_data, test_images])

据我了解，这样做每次都会训练一个new模型（共9次）。但是，如果是这种情况，那么我的损失输出就没有意义：

顶部的灰色曲线是第一次迭代，它从接近 1 开始，然后下降。随后的迭代都显着降低。

我想了解我在这里做错了什么 - 我想完全训练新网络 9 次，然后每次都得到预测。

Answer 1

当调用 model.fit 时，参数估计将从它停止的地方继续，所以你是对的，一旦你到达循环的第二次迭代，你将使用你在第一次迭代中获得的任何东西.

为避免这种情况，您需要在每次迭代之间重置模型的参数。一种方法是在每次迭代中从头开始简单地创建模型。唯一需要注意的是，默认情况下，权重是用随机值初始化的（以避免 objective 的局部极值），因此如果您只是完全重新初始化模型，您将使用不同的随机起点。为避免这种情况，并确保每次迭代都使用相同的起点，您可以修复初始值（例如，通过修复随机种子），或者直接使用 Keras 给您的值，然后使用 model.save 在第一次迭代之前，load_model 在每次迭代开始时，即做相当于

from keras.models import load_model

model = ...
model.save('initial.h5')
for ... in KFold
    model = load_model('initial.h5')
    model.fit(...)
    model.predict(...)

并不是说您一定要担心这个：您也可以简单地选择将随机初始化视为抽象统计模型的一部分，您正在尝试估计其泛化误差，并且对新的起点感到满意每次迭代。

Answer 2

除了@fuglede，我建议你在model.fit中使用validation_split参数。您不需要自己进行拆分。 Keras 负责这件事。

Keras 的交叉验证如何适合？

How does cross validating with Keras fit?

python

machine-learning

keras

cross-validation

k-fold