这些楠从哪里来？

Question

编辑：
我的数据中有一些 nan 但答案是正确的，你必须用一些噪音来初始化你的重量！谢谢！

我正在用 tensorflow 编写我的第一个脚本。我在打印值时遇到了一些问题，但现在我明白了。我想尝试一个简单的逻辑回归开始，我正在研究 kaggle titanic 数据集。

我的问题是我不知道为什么但是我的权重和偏差中有一些 nan 所以在我的 y（预测）向量中也...

编辑：我的权重初始化为 0，所以我猜我是一个空梯度。根据提供的答案我添加

W = tf.truncated_normal([5, 1], stddev=0.1)

而不是

 W = tf.Variable(tf.zeros([5, 1])) #weight for softmax

但我仍然遇到了一些问题。我的 b 变量和 y 变量仍然是 nan，当我为 b 尝试同样的事情时，出现以下错误： ValueError：没有要优化的变量
我尝试了几种方法来分配张量 [1, 1] 的偏差，但看起来我遗漏了一些东西
看起来 y 是 nan 因为交叉熵是 nan 因为 b 是 nan ... :( 结束 - 编辑

我读了这个 post (Why does TensorFlow return [[nan nan]] instead of probabilities from a CSV file?)，在我的交叉熵计算 0*log(0) return nan 期间，他给了我一个提示，所以我应用了给定的解决方案，那就是添加 1e-50 像 :

cross_entropy = -tf.reduce_sum(y_*tf.log(y + 1e-50))

不幸的是，我猜这不是问题，我仍然到处都是 nan :(

这是我非常简单的模型中有趣的（我猜）部分：

x = tf.placeholder(tf.float32, [None, 5]) #placeholder for input data

W = tf.truncated_normal([5, 1], stddev=0.1)

b = tf.Variable(tf.zeros([1])) # no error but nan
#b = tf.truncated_normal([1, 1], stddev=0.1) Thow the error descript above
#b = [0.1] no error but nan

y = tf.nn.softmax(tf.matmul(x, W) + b) #our model -> pred from model

y_ = tf.placeholder(tf.float32, [None, 1])#placeholder for input 

cross_entropy = -tf.reduce_sum(y_*tf.log(y)) # crossentropy cost function

train_step = tf.train.GradientDescentOptimizer(0.01).minimize(cross_entropy)
init = tf.initialize_all_variables() # create variable

sess = tf.InteractiveSession()
sess.run(init)

testacc = []
trainacc = []
for i in range(15):
    batch_xs = train_input[i*50:(i + 1) * 50]
    batch_ys = train_label[i*50:(i + 1) * 50]

    result = sess.run(train_step, feed_dict={x: batch_xs, y_: batch_ys})

correct_prediction = tf.equal(y,y_)
accuracy = tf.reduce_mean(tf.cast(correct_prediction, tf.float32))
print(sess.run([accuracy, W, y] , feed_dict={x: test_input, y_: test_label}))

它 return当然是 0.0 的准确度，并且在 2 个 nan 数组之后我试图到处打印值，但到处都打印 nan :'(

有人有想法吗？我可能忘记了什么或做错了什么

问题是我尝试使用包含数据的 mnist（google 教程）使用类似的脚本并且它有效（没有 nan）。我用 panda 读取 csv 文件获取数据。

感谢阅读！

Answer 1

由于您的权重矩阵为零，因此您在 tf.nn.softmax 中除以零。使用不同的规范化方法，例如 MNIST 示例中的 truncated_normal

这些楠从哪里来？

Where do these nan come from?

tensorflow