运行 卷积网络时 tensorflow 给出 nan 损失
tensor flow giving nan loss when running with convolutional network
我试图在 tensorflow 中为门牌号图像创建一个卷积神经网络
http://ufldl.stanford.edu/housenumbers/
当我 运行 我的代码时,我在第一步中得到了 nan 的成本。
这是我在代码中输入的 link 到 github
https://github.com/ibnipun10/TensorFlow/blob/master/convhouseNumbers.ipynb
请告诉我哪里出错了
损失是 NaN,因为梯度刚刚爆炸。
你的代码看起来不错,但是你的学习率很高。尝试使用较低的学习率(如 1e-2
或 1e-3
)并查看梯度是否仍然爆炸。
成瘾,我不知道你在训练中使用的图像是否刚刚被转换为浮点值并缩放以便具有零均值和单位范数,但通常这是工作时需要的一个步骤使用有助于避免梯度爆炸的图像。
Tensorflow 有一个函数:tf.image.per_image_whitening
我试图在 tensorflow 中为门牌号图像创建一个卷积神经网络 http://ufldl.stanford.edu/housenumbers/
当我 运行 我的代码时,我在第一步中得到了 nan 的成本。 这是我在代码中输入的 link 到 github https://github.com/ibnipun10/TensorFlow/blob/master/convhouseNumbers.ipynb
请告诉我哪里出错了
损失是 NaN,因为梯度刚刚爆炸。
你的代码看起来不错,但是你的学习率很高。尝试使用较低的学习率(如 1e-2
或 1e-3
)并查看梯度是否仍然爆炸。
成瘾,我不知道你在训练中使用的图像是否刚刚被转换为浮点值并缩放以便具有零均值和单位范数,但通常这是工作时需要的一个步骤使用有助于避免梯度爆炸的图像。
Tensorflow 有一个函数:tf.image.per_image_whitening