Tensorflow 在每个纪元结束时卡住几秒钟
Tensorflow stuck for seconds at the end of every epoch
我正在通过 TFRecordDataset 训练神经网络。然而,在每个时期结束时,即 ETA: 0s
,训练会停滞数十秒。作为参考,一个时期大约需要一分钟才能完成大约 25GB 的数据集(在解析特征子集之前)。
我是 运行 TensorFlow 2.3.1 和 Nvidia Titan RTX GPU。这是预期的行为吗?可能是由于输入管道中的预处理?预处理是仅由 CPU 执行还是卸载到 GPU?谢谢!
如果你有一个验证集并且你正在使用 model.fit()
,这可能是计算损失和指标所花费的时间。在大多数情况下,计算 80/20 拆分的指标应该额外花费 25%。
我正在通过 TFRecordDataset 训练神经网络。然而,在每个时期结束时,即 ETA: 0s
,训练会停滞数十秒。作为参考,一个时期大约需要一分钟才能完成大约 25GB 的数据集(在解析特征子集之前)。
我是 运行 TensorFlow 2.3.1 和 Nvidia Titan RTX GPU。这是预期的行为吗?可能是由于输入管道中的预处理?预处理是仅由 CPU 执行还是卸载到 GPU?谢谢!
如果你有一个验证集并且你正在使用 model.fit()
,这可能是计算损失和指标所花费的时间。在大多数情况下,计算 80/20 拆分的指标应该额外花费 25%。