从零开始的 PCA 和 Sklearn PCA 提供不同的输出

Question

我正在尝试从头开始实施 PCA。以下是代码：

sc = StandardScaler()  #standardization
X_new = sc.fit_transform(X)
Z = np.divide(np.dot(X_new.T,X_new),X_new.shape[0])  #covariance matrix
eig_values, eig_vectors = np.linalg.eig(Z)           #eigen vectors calculation 
eigval_sorted = np.sort(eig_values)[::-1]             
ev_index  =np.argsort(eigval_sorted)[::-1]
pc = eig_vectors[:,ev_index]                         #eigen vectors sorts on the basis of eigen values
W = pc[:,0:2]                                        #extracting 2 components
print(W)

并获取以下组件：

[[ 0.52237162 -0.37231836]
[-0.26335492 -0.92555649]
[ 0.58125401 -0.02109478]
[ 0.56561105 -0.06541577]]

当我使用 sklearn 的 PCA 时，我得到以下两个组件：

array([[ 0.52237162, -0.26335492,  0.58125401,  0.56561105],
       [ 0.37231836,  0.92555649,  0.02109478,  0.06541577]])

投影到新特征 space 给出以下不同的数字：

我哪里做错了，如何解决这个问题？

Answer 1

从技术上讲，PCA 的结果不是 n 个向量，而是 n 维的子空间。该子空间由跨越该子空间的 n 个向量表示。

在你的例子中，虽然向量不同，但跨越的子空间是相同的，因此 PCA 的结果是相同的。

如果您想使您的解决方案与 sklearn 解决方案完美对齐，您需要以相同的方式规范化您的解决方案。显然 sklearn 更喜欢正值而不是负值？您需要深入研究他们的文档。

编辑：是的，当然，我写的是错误的。算法本身 returns 有序正交基向量。因此，长度为 1 且彼此正交的向量在数据集的 'importance' 中被排序。所以信息比子空间更多。

但是，如果 v、w、u 是 PCA 的解，那么 +/- v、w、u 也应该是。

编辑：似乎 np.linalg.eig 没有机制来保证它也会 return 表示特征空间的同一组特征向量，另请参见此处： NumPy linalg.eig

因此，新版本的 numpy 或当今的星星排列方式都可以改变您的结果。虽然，对于 PCA，它应该只在 +/-

中变化

从零开始的 PCA 和 Sklearn PCA 提供不同的输出

PCA from scratch and Sklearn PCA giving different output

python

pca

python-3.x

scikit-learn