Tensorflow：Tensordot 可重现的结果

Question

我正在 Tensorflow 中使用 tf.tensordot。但是，我遇到了一些困扰我的不一致之处。下面是一个可重现的例子：

tf.reset_default_graph()
tf.set_random_seed(42)
np.random.seed(42)
X = np.random.rand(150, 196, 268).astype(np.float32)
W = tf.Variable(initial_value=tf.random_normal([268, 22], stddev=0.1))
dotted_150 = tf.tensordot(X, W, axes=[[2], [0]])
with tf.Session() as sess:
    sess.run(tf.global_variables_initializer())
    output_150 = sess.run(dotted_150)

这是一个 returns 维度为 (150, 196, 22)

的张量

tf.reset_default_graph()
tf.set_random_seed(42)
np.random.seed(42)
X = np.random.rand(1, 196, 268).astype(np.float32)
W = tf.Variable(initial_value=tf.random_normal([268, 22], stddev=0.1))
dotted_1 = tf.tensordot(X, W, axes=[[2], [0]])
with tf.Session() as sess:
    sess.run(tf.global_variables_initializer())
    output_1 = sess.run(dotted_1)

这是一个 returns 维度为 (1, 196, 22)

的张量

现在，如果我们测试 output_150 的第一个元素是否几乎等于 output_1 的第一个也是唯一的元素，结果是两个数组不匹配。

np.testing.assert_allclose(output_1[0], output_150[0])

另一方面，如果我们这样做：

np.random.seed(42)
input_150 = np.random.rand(150, 196, 268).astype(np.float32)
np.random.seed(42)
input_1 = np.random.rand(1, 196, 268).astype(np.float32)
np.testing.assert_equal(input_150[0], input_1[0])

我们看到输入是完全一样的。话虽如此，我希望 tf.tensordot 的输出也相同，但事实并非如此。

同样，这里有一个 tf.tensordot 等价物，使用 tf.reshape 和 tf.matmul:

tf.reset_default_graph()
tf.set_random_seed(42)
np.random.seed(42)
X = np.random.rand(150, 196, 268).astype(np.float32)
W = tf.Variable(initial_value=tf.random_normal([268, 22], stddev=0.1))
reshaped = tf.reshape(X, [-1, 268])
mulled_150 = tf.reshape(tf.matmul(reshaped, W), [-1, 196, 22])
with tf.Session() as sess:
    sess.run(tf.global_variables_initializer())
    output_150 = sess.run(mulled_150)


tf.reset_default_graph()
tf.set_random_seed(42)
np.random.seed(42)
X = np.random.rand(1, 196, 268).astype(np.float32)
W = tf.Variable(initial_value=tf.random_normal([268, 22], stddev=0.1))
reshaped = tf.reshape(X, [-1, 268])
mulled_1 = tf.reshape(tf.matmul(reshaped, W), [-1, 196, 22])
with tf.Session() as sess:
    sess.run(tf.global_variables_initializer())
    output_1 = sess.run(mulled_1)

np.testing.assert_allclose(output_1[0], output_150[0])

结果完全一样，输出数组不匹配。怎么可能？

Answer 1

显然，如果我使用 tf.float64 精度而不是 tf.float32，结果是相同的。

Tensorflow：Tensordot 可重现的结果

Tensorflow: Tensordot reproducible results

python

testing

numpy

tensorflow

tensordot