如何应用 DataGenerator 来训练和验证数据？

Question

使用此处的代码 https://keras.io/api/utils/python_utils/#sequence-class，我编写了自定义 DataGenerator。

 # Here, `x_set` is list of path to the images
 # and `y_set` are the associated classes.

class DataGenerator(Sequence):

    def __init__(self, x_set, y_set, batch_size):
        self.x, self.y = x_set, y_set
        self.batch_size = batch_size

    def __len__(self):
        return math.ceil(len(self.x) / self.batch_size)

    def __getitem__(self, idx):
        batch_x = self.x[idx * self.batch_size:(idx + 1) *
        self.batch_size]
        batch_y = self.y[idx * self.batch_size:(idx + 1) *
        self.batch_size]

        return np.array([
            resize(imread(file_name), (224, 224))
               for file_name in batch_x]), np.array(batch_y)

现在，我想知道如何将数据生成器应用于我的训练数据和验证数据？我有 X_train 和 X_val，它们是包含我的图像文件的图像路径的列表，以及 y_train 和 y_val，它们是一个热编码标签。

我可以使用这个代码吗？

training_generator = DataGenerator(X_train, y_train)
validation_generator = DataGenerator(X_val, y_val)

然后拟合模型？

model.fit_generator(generator=training_generator,
                    validation_data=validation_generator)

Answer 1

你写的基本正确。不要忘记将 batch_size 参数传递给您的 DataGenerator.

另一方面，epochs 参数（正如您在评论中提到的）应该传递给 model.fit_generator（更好的是，使用 model.fit 因为 fit_generator 方法是 deprecated)。如果你不传递它，epochs 的默认值将是 1.

另请查看 this tutorial 如何使用 Sequence class（您可以跳至使用 DataGenerator 的底部）。在本教程中，batch_size 以外的几个参数被传递给 DataGenerator，因为它们被定义为 __init__ 方法的输入。只要您不定义它们，就不必传递它们。

如何应用 DataGenerator 来训练和验证数据？

How to apply DataGenerator to train and validation data?

python

data-generation