Tensorflow 中长序列 RNN 的性能

Question

我构建了一个序列长度约为 10,000 的 RNN。创建优化器花了很长时间 train_op = tf.train.GradientDescentOptimizer(0.008).minimize(cost) 并花了很长时间训练。我想知道如何加快计算过程。

Answer 1

TensorFlow 的最新版本（当前每晚 build/upcoming 版本 0.8）包括一个名为 tf.nn.dynamic_rnn() 的实验性功能。此函数允许您使用 TensorFlow 图中的循环构建 RNN，这会显着减少图中使用的节点数量（以及因此必须为梯度下降构建的图的大小）。