学习率初始化 char-RNN 在 tensorflow 中实现

Question

我最近正在复现 http://karpathy.github.io/2015/05/21/rnn-effectiveness/. There are codes already implemented in tensorflow and the code I am referring to is at https://github.com/sherjilozair/char-rnn-tensorflow/blob/master/model.py 中描述的 char-RNN 代码。我对上述代码中的以下几行有疑问：

    #1 loss = seq2seq.sequence_loss_by_example([self.logits],
            [tf.reshape(self.targets, [-1])],
            [tf.ones([args.batch_size * args.seq_length])],
            args.vocab_size)
    #2 self.cost = tf.reduce_sum(loss) / args.batch_size / args.seq_length
    #3 self.final_state = last_state
    #4 self.lr = tf.Variable(0.0, trainable=False)
    #5 tvars = tf.trainable_variables()
    #6 grads, _ = tf.clip_by_global_norm(tf.gradients(self.cost, tvars),
            args.grad_clip)
    #7 optimizer = tf.train.AdamOptimizer(self.lr)
    #8 self.train_op = optimizer.apply_gradients(zip(grads, tvars))

问题在 #4：为什么我们将学习率设置为 0？将其设置为 0 是否是初始化学习率的最佳方式？

Answer 1

查看代码，学习率似乎在使用之前设置为另一个值。

sess.run(tf.assign(model.lr, args.learning_rate * (args.decay_rate ** e)))

这是必要的，因为学习率设置为随时间衰减，并且 Adam 优化器仅初始化一次。任何值都应该有效，但我觉得零似乎最美观。

学习率初始化 char-RNN 在 tensorflow 中实现

learning rate initializtion char-RNN implemented in tensorflow

machine-learning

tensorflow

recurrent-neural-network