TensorFlow:运行时 OOM

TensorFlow: OOM during runtime

在 运行 时间里,我的模型开始 运行 批量(全部大小为 64)内存不足(大约 3k 次迭代)。

在等效批次的初始迭代期间,它没有 运行 OOM。

我 运行 tensorboard 总结,Adam 优化器并使用循环神经网络的 while 循环。

运行构建模型时内存增加的已知原因是什么,我如何跟踪内存使用情况?通常tensorboard只占满内存。

您可以使用 跟踪内存使用情况。

我不知道为什么内存会随着迭代而累积。一种可能的解决方法是 save 在内存不足之前将模型写入磁盘,然后恢复以继续训练。