逆截断 SVD 不提供原始数据

Question

TruncatedSVD 不返回原始数据集时出现问题。这是代码：

from sklearn.decomposition import TruncatedSVD
from sklearn.random_projection import sparse_random_matrix
X = sparse_random_matrix(100, 100, density=0.01, random_state=42)
svd = TruncatedSVD(n_components=5, n_iter=7, random_state=42)

t = svd.fit_transform(X.toarray())

print(X.toarray())
print(svd.inverse_transform(t))

预期输出：

[[ 0.  0.  0. ...,  0.  0.  0.]
 [ 0.  0.  0. ...,  0.  0.  0.]
 [ 0.  0.  0. ...,  0.  0.  0.]
 ..., 
 [ 0.  0.  0. ...,  0.  0.  0.]
 [ 0.  0.  0. ...,  0.  0.  0.]
 [ 0.  0.  0. ...,  0.  0.  0.]]

给定输出：

[[  4.53614251e-07   5.94986126e-09   3.56781739e-22 ...,  -2.72725083e-06
    5.13570405e-09  -2.15097572e-11]
 [  1.79826495e-17   1.72410454e-19   2.96469642e-33 ...,  -7.03013830e-17
    3.95942333e-19  -1.41558908e-21]
 [ -2.93753794e-02  -3.74847011e-04   1.49367361e-17 ...,  -3.65049683e-02
   -1.09142571e-03   3.85158003e-06]
 ..., 
 [ -1.55332590e-06  -2.01895537e-08   2.49596545e-22 ...,   2.73152004e-06
   -4.78520806e-08   1.67404008e-10]
 [  0.00000000e+00   0.00000000e+00   0.00000000e+00 ...,   0.00000000e+00
    0.00000000e+00   0.00000000e+00]
 [ -6.63184677e-03  -9.22742695e-05   5.28534360e-18 ...,  -2.32029752e-02
   -2.79132499e-04   1.01189068e-06]]

文档指出 inverse_transform()：将 X 转换回其原始 space。

然而，在上面的例子中，它并没有。

Answer 1

Truncated 意味着它丢弃了信息，所以逆变换 不应该 给你原始数据，只有它的近似值可以从 truncated 分解中存储的信息中恢复。

文档指出它将数据移动到原始 space，而不是提供 原始数据 。这是两个不同的概念。很明显，您得到的是原始 space（具有有效维度）。

用更多的数学术语来说，TruncatedSVD 变换是一个不是单射的函数 f，有许多数据集将被投影到相同的表示中。因此 inverse_transform 不是变换的逆向，它只是反向的变换。换句话说，inverse_transform 是满足 f(g(f(X))) == f(X) 的 g，但 g(f(X)) == X 不成立。举个简单的例子考虑函数 f(x)=x^2 和 g(x)=sqrt(x)，它们具有相同的属性，f(g(f(x))) == f(x) since (sqrt (x^2))^2 == x^2，但是对于 x=-1，g(f(x)) = x 是不正确的，因为 g(f(-1)) == 1.

逆截断 SVD 不提供原始数据

Inverse TruncatedSVD Not Giving Original Data

python

machine-learning

svd