GAN训练难度

Question

我正在尝试训练 GAN 来学习事件中许多特征的分布。训练的鉴别器和生成器损失很低，但生成的事件具有不同形状的分布，但我不确定为什么。

我对GAN的定义如下：

def create_generator():

    generator = Sequential()

    generator.add(Dense(50,input_dim=noise_dim))
    generator.add(LeakyReLU(0.2))    
    generator.add(Dense(25))
    generator.add(LeakyReLU(0.2))
    generator.add(Dense(5))
    generator.add(LeakyReLU(0.2))
    generator.add(Dense(len(variables), activation='tanh'))

    return generator


def create_descriminator():
    discriminator = Sequential()

    discriminator.add(Dense(4, input_dim=len(variables)))
    discriminator.add(LeakyReLU(0.2))
    discriminator.add(Dense(4))
    discriminator.add(LeakyReLU(0.2))
    discriminator.add(Dense(4))
    discriminator.add(LeakyReLU(0.2))
    discriminator.add(Dense(1, activation='sigmoid'))   
    discriminator.compile(loss='binary_crossentropy', optimizer=optimizer)
    return discriminator


discriminator = create_descriminator()
generator = create_generator()

def define_gan(generator, discriminator):
    # make weights in the discriminator not trainable
    discriminator.trainable = False
    model = Sequential()
    model.add(generator)
    model.add(discriminator)
    model.compile(loss = 'binary_crossentropy', optimizer=optimizer)
    return model

gan = define_gan(generator, discriminator)

然后我使用这个循环训练 GAN：

for epoch in range(epochs):
    for batch in range(steps_per_epoch):
        noise = np.random.normal(0, 1, size=(batch_size, noise_dim))
        fake_x = generator.predict(noise)

        real_x = x_train[np.random.randint(0, x_train.shape[0], size=batch_size)]

        x = np.concatenate((real_x, fake_x))
        # Real events have label 1, fake events have label 0
        disc_y = np.zeros(2*batch_size)
        disc_y[:batch_size] = 1

        discriminator.trainable = True
        d_loss = discriminator.train_on_batch(x, disc_y)

        discriminator.trainable = False
        y_gen = np.ones(batch_size)
        g_loss = gan.train_on_batch(noise, y_gen)

我的真实事件是使用 sklearn 标准缩放器缩放的：

scaler = StandardScaler()
x_train = scaler.fit_transform(x_train)

生成事件：

X_noise = np.random.normal(0, 1, size=(n_events, GAN_noise_size))
X_generated = generator.predict(X_noise)

当我在训练了几百到几千个时期后使用训练有素的 GAN 来生成新事件并进行缩放时，我得到的分布如下所示：

并针对真实事件和假事件绘制两个相互对比的特征：

这看起来类似于模式崩溃，但我不明白这如何导致这些极值，在这些极值中，超出这些点的一切都被切断。

Answer 1

模式崩溃导致生成器找到一些值或小范围的值，这些值最能欺骗鉴别器。由于您生成的值范围相当狭窄，我相信您正在经历模式崩溃。您可以训练不同的持续时间并绘制结果以查看何时发生崩溃。有时，如果你训练的时间足够长，它会自行修复并重新开始学习。有十亿条关于如何训练 GAN 的建议，我收集了一堆，然后针对每个 GAN 强行通过它们。您可以尝试每隔一个周期只训练鉴别器，以便给生成器一个学习的机会。此外，一些人建议不要同时在真实数据和虚假数据上训练鉴别器（我没有做过所以不能说影响是什么，如果有的话）。您可能还想尝试添加一些批量归一化层。 Jason Brownlee 有很多关于训练 GAN 的好文章，你可能想从那里开始。

GAN训练难度

Difficulty in GAN training

python

keras

tensorflow

generative-adversarial-network