Scikit-learn PCA .fit_transform 形状不一致 (n_samples << m_attributes)

Question

我正在使用 sklearn 为我的 PCA 获取不同的形状。 为什么我的转换没有像文档中所说的那样生成相同维度的数组？

fit_transform(X, y=None)
Fit the model with X and apply the dimensionality reduction on X.
Parameters: 
X : array-like, shape (n_samples, n_features)
Training data, where n_samples is the number of samples and n_features is the number of features.
Returns:    
X_new : array-like, shape (n_samples, n_components)

使用 iris 数据集进行检查，该数据集是 (150, 4) 我正在制作 4 台电脑的地方：

import numpy as np
import pandas as pd
import matplotlib.pyplot as plt
from sklearn.datasets import load_iris
from sklearn.preprocessing import StandardScaler
from sklearn import decomposition
import seaborn as sns; sns.set_style("whitegrid", {'axes.grid' : False})

%matplotlib inline
np.random.seed(0)

# Iris dataset
DF_data = pd.DataFrame(load_iris().data, 
                       index = ["iris_%d" % i for i in range(load_iris().data.shape[0])],
                       columns = load_iris().feature_names)

Se_targets = pd.Series(load_iris().target, 
                       index = ["iris_%d" % i for i in range(load_iris().data.shape[0])], 
                       name = "Species")

# Scaling mean = 0, var = 1
DF_standard = pd.DataFrame(StandardScaler().fit_transform(DF_data), 
                           index = DF_data.index,
                           columns = DF_data.columns)

# Sklearn for Principal Componenet Analysis

# Dims
m = DF_standard.shape[1]
K = m

# PCA (How I tend to set it up)
M_PCA = decomposition.PCA()
A_components = M_PCA.fit_transform(DF_standard)
#DF_standard.shape, A_components.shape
#((150, 4), (150, 4))

但是当我在我的实际数据集 (76, 1989) 上使用与 76 samples 和 1989 attributes/dimensions 中相同的方法时，我得到一个 (76, 76) 数组而不是 (76, 1989)

DF_centered = normalize(DF_mydata, method="center", axis=0)
m = DF_centered.shape[1]
# print(m)
# 1989
M_PCA = decomposition.PCA(n_components=m)
A_components = M_PCA.fit_transform(DF_centered)
DF_centered.shape, A_components.shape
# ((76, 1989), (76, 76))

normalize 只是我制作的包装器，它从每个维度中减去 mean。

Answer 1

（注：此答案改编自我在Cross Validated here: Why are there only n−1 principal components for n data points if the number of dimensions is larger or equal than n?上的回答）

PCA（通常是运行）通过以下方式创建新坐标系：

将原点移动到数据的质心，
squeezes and/or 拉伸轴使它们的长度相等，
将轴旋转到新的方向。

（有关更多详细信息，请参阅此出色的 CV 线程：Making sense of principal component analysis, eigenvectors & eigenvalues。）但是，步骤 3 以非常特殊的方式旋转轴。您的新 X1（现在称为 "PC1"，即第一主成分）面向数据的最大变化方向。第二个主成分指向与第一个主成分正交的下一个最大变异量的方向。其余主成分同理形成

考虑到这一点，让我们来看一个简单的例子（@amoeba 在 comment 中建议）。这是一个在三维 space 中包含两个点的数据矩阵：

X = [ 1 1 1 
      2 2 2 ]

让我们在（伪）三维散点图中查看这些点：

所以让我们按照上面列出的步骤进行操作。 (1) 新坐标系的原点位于(1.5,1.5,1.5)。 (2) 轴已经相等。 (3) 第一主成分将从原来的 (0,0,0) 沿对角线走向原来的 (3,3,3)，这是这些数据变化最大的方向。现在，第二个主成分必须与第一个主成分正交，并且应该朝向最大剩余变化的方向。但那是什么方向？是从 (0,0,3) 到 (3,3,0)，还是从 (0,3,0) 到 (3,0,3)，还是其他？没有剩余的变化，所以不能再有主成分。

对于 N=2 个数据，我们可以拟合（最多）N−1=1 个主成分。

Scikit-learn PCA .fit_transform 形状不一致 (n_samples << m_attributes)

Scikit-learn PCA .fit_transform shape is inconsistent (n_samples << m_attributes)

machine-learning

scikit-learn

pca

dimensionality-reduction

principal-components