具有产量的自定义 Keras 数据生成器

Question

我正在尝试创建自定义数据生成器，但不知道如何将 yield 函数与 __getitem__ 方法中的无限循环相结合。

编辑：回答后我意识到我使用的代码是 Sequence 不需要 yield 语句。

目前我正在返回多张带有 return 语句的图像：

class DataGenerator(tensorflow.keras.utils.Sequence):
    def __init__(self, files, labels, batch_size=32, shuffle=True, random_state=42):
        'Initialization'
        self.files = files
        self.labels = labels
        self.batch_size = batch_size
        self.shuffle = shuffle
        self.random_state = random_state
        self.on_epoch_end()

    def __len__(self):
        return int(np.floor(len(self.files) / self.batch_size))

    def __getitem__(self, index):
        # Generate indexes of the batch
        indexes = self.indexes[index * self.batch_size:(index + 1) * self.batch_size]

        files_batch = [self.files[k] for k in indexes]
        y = [self.labels[k] for k in indexes]

        # Generate data
        x = self.__data_generation(files_batch)

        return x, y

    def on_epoch_end(self):
        'Updates indexes after each epoch'
        self.indexes = np.arange(len(self.files))
        if self.shuffle == True:
            np.random.seed(self.random_state)
            np.random.shuffle(self.indexes)


    def __data_generation(self, files):
        imgs = []

        for img_file in files:

            img = cv2.imread(img_file, -1)

            ###############
            # Augment image
            ###############

            imgs.append(img) 

        return imgs

在这个article中我看到yield被用在了无限循环中。我不太明白那个语法。循环是如何转义的？

Answer 1

Keras中的生成器示例：

def datagenerator(images, labels, batchsize, mode="train"):
    while True:
        start = 0
        end = batchsize

        while start  < len(images): 
            # load your images from numpy arrays or read from directory
            x = images[start:end] 
            y = labels[start:end]
            yield x, y

            start += batchsize
            end += batchsize

Keras 希望您在生成器中使用无限循环运行。

如果你想了解 Python 生成器，那么评论中的 link 实际上是一个很好的起点。

Answer 2

您正在使用序列 API，它的工作方式与普通生成器略有不同。在生成器函数中，您将使用 yield 关键字在 while True: 循环内执行迭代，因此每次 Keras 调用生成器时，它都会获取一批数据并自动环绕在生成器的末尾数据.

但是在序列中，__getitem__ 函数有一个 index 参数，因此不需要迭代或 yield，这是 Keras 为您执行的。这样做是为了使序列可以运行使用多处理并行，这对于旧的生成器函数是不可能的。

所以你做事的方式是正确的，不需要改变。

具有产量的自定义 Keras 数据生成器

Custom Keras Data Generator with yield

python

yield

keras

tensorflow