为什么要在 PCA 的重建中添加均值？

Question

假设 X 是我们的数据集（仍未居中），X_cent 是我们的居中数据集（X_cent = X - mean(X)）。

如果我们以这种方式进行 PCA 投影 Z_cent = F*X_cent，其中 F 是主成分矩阵，很明显我们需要在后面添加 mean(X)重建Z_cent。

但是如果我们按照Z = F*X的方式进行PCA投影呢？在这种情况下，我们不需要在重建后添加 mean(X)，但它给了我们另一个结果。

我认为这个过程（构造-重建）在应用于非中心数据（在我们的例子中是 X）时有问题。谁能解释它是如何工作的？为什么我们不能在没有这个 subracting/adding 的情况下做 construction/reconstruction 阶段？

提前致谢。

Answer 1

如果您保留所有主成分，那么您问题中描述的居中和非居中向量的重建将是相同的。问题（如您的评论中所示）是您只保留 K 主要成分。当您丢弃 PC 时，您会丢失信息，因此重建将包含错误。由于您不必在其中一个重建中重建均值，因此不会引入错误 w.r.t。那里的均值所以两个版本的重建误差会不同。

少于所有 PC 的重建并不像乘以特征向量的转置 (F') 那么简单，因为您需要用零填充转换后的数据，但为了简单起见，我'在这里忽略它。你的两个重建看起来像这样：

R1 = F'*F*X
R2 = F'*F*X_cent + X_mean
   = F'*F*(X - X_mean) + X_mean
   = F'*F*X - F'*F*X_mean + X_mean

由于重建是有损的，一般来说，矩阵 Y F'*F*Y != Y。如果你重新训练所有 PC，你将有 R1 - R2 = 0。但是由于您只保留了 PC 的一个子集，因此您的两次重建将相差

R2 - R1 = X_mean - F'*F*X_mean

关于为什么重建 X_cent 而不是 X 更好的评论中的后续问题有点微妙，实际上取决于您首先进行 PCA 的原因。最根本的原因是 PC 首先是关于均值的，因此如果不在 transforming/rotating 之前将数据居中，您并没有真正消除这些特征的相关性。另一个原因是，首先对数据进行居中时，转换后的数据的数值通常会小几个数量级。

为什么要在 PCA 的重建中添加均值？

Why to add mean in the reconstruction in PCA?

machine-learning

projection

pca