张量流：如何在两个稀疏矩阵之间执行逐元素乘法

Question

我有两个使用 tf.sparse_placeholder 声明的稀疏矩阵。我需要在两个矩阵之间执行逐元素乘法。但是我在 tensorflow 中找不到这样的实现。最相关的函数是tf.sparse_tensor_dense_matmul，但这是一个在一个稀疏矩阵和一个密集矩阵之间执行矩阵乘法的函数。

我希望找到的是在两个稀疏矩阵之间执行逐元素乘法。在 tensorflow 中有任何实现吗？

我展示了以下在密集矩阵之间执行乘法的示例。我期待看到解决方案。

import tensorflow as tf import numpy as np # Element-wise multiplication, two dense matrices A = tf.placeholder(tf.float32, shape=(100, 100)) B = tf.placeholder(tf.float32, shape=(100, 100)) C = tf.multiply(A, B) sess = tf.InteractiveSession() RandA = np.random.rand(100, 100) RandB = np.random.rand(100, 100) print sess.run(C, feed_dict={A: RandA, B: RandB}) # matrix multiplication, A is sparse and B is dense A = tf.sparse_placeholder(tf.float32) B = tf.placeholder(tf.float32, shape=(5,5)) C = tf.sparse_tensor_dense_matmul(A, B) sess = tf.InteractiveSession() indices = np.array([[3, 2], [1, 2]], dtype=np.int64) values = np.array([1.0, 2.0], dtype=np.float32) shape = np.array([5,5], dtype=np.int64) Sparse_A = tf.SparseTensorValue(indices, values, shape) RandB = np.ones((5, 5)) print sess.run(C, feed_dict={A: Sparse_A, B: RandB})

非常感谢！！！

Answer 1

您也可以将 tf.matmul or tf.sparse_matmul 用于稀疏矩阵；将 a_is_sparse 和 b_is_sparse 设置为 True.

matmul(
    a,
    b,
    transpose_a=False,
    transpose_b=False,
    adjoint_a=False,
    adjoint_b=False,
    a_is_sparse=False,
    b_is_sparse=False,
    name=None
)

对于逐元素乘法，一种解决方法是使用 tf.sparse_to_dense 将稀疏张量转换为密集表示，并使用 tf.multiply 进行逐元素乘法

Answer 2

TensorFlow 目前没有稀疏-稀疏元素乘法运算。

我们目前不打算添加对此的支持，但绝对欢迎贡献！欢迎在此处创建 github 问题：https://github.com/tensorflow/tensorflow/issues/new 也许您或社区中的其他人可以选择它 :)

谢谢！

Answer 3

另一个 post 的解决方案有效。

使用__mul__执行逐元素乘法。

TF2.1 参考：https://www.tensorflow.org/api_docs/python/tf/sparse/SparseTensor#mul

Answer 4

我正在使用 Tensorflow 2.4.1。

这是我将 two 稀疏张量相乘的解决方法 element-wise:

def sparse_element_wise_mul(a: tf.SparseTensor, b: tf.SparseTensor):
    a_plus_b = tf.sparse.add(a, b)
    a_plus_b_square = tf.square(a_plus_b)
    minus_a_square = tf.negative(tf.square(a))
    minus_b_square = tf.negative(tf.square(b))
    _2ab = tf.sparse.add(
        tf.sparse.add(
            a_plus_b_square,
            minus_a_square
        ),
        minus_b_square
    )
    ab = tf.sparse.map_values(tf.multiply, _2ab, 0.5)
    return ab

这里有一些简单的解释：

鉴于

(a+b)^2 = a^2 + 2a*b + b^2

我们可以通过

计算a*b

a*b = ((a+b)^2 - a^2 - b^2) / 2

似乎可以使用这种解决方法正确计算梯度。

张量流：如何在两个稀疏矩阵之间执行逐元素乘法

tensorflow: how to perform element-wise multiplication between two sparse matrix

multiplication

sparse-matrix

elementwise-operations

tensorflow