直线上 3 个点的第一个主成分

Question

我对第一个主要方向有点困惑。假设我在二维欧氏 space 中有三个点：(1,1)、(2,2) 和 (3,3)，我想计算第一个主成分。

首先我看到中心是 (2,2) 所以我将所有点移动到原点。现在（2,2）就像（0,0）并且（1,1）是（-1，-1）并且（3,3）是（1,1）。这就是均值偏移。现在，我知道第一个主成分是来自 matlab 的 transpose((sqrt(2)/2, sqrt(2)/2)) 。但是，它是如何计算的呢？这是什么意思？

你计算协方差矩阵然后找到特征值然后是特征向量。这个特征向量是方向？那你归一化？

所以我们在 (-1,-1)、(0,0) 和 (1,1) 的均值偏移之后得到了我们的点。我们现在计算协方差矩阵

c(x,x) c(x,y)

c(y,x) c(y,y)

这是[0 1; 0 1] 然后我们查看最大的特征值 1 并计算特征向量 [1;1]。然后我们归一化除以 sqrt(1^2 + 1^2)?

Answer 1

你写的步骤是正确的，但是你误解了一些概念。 "Mean shift"部分没有问题，但是你对协方差矩阵的理解有误。由于原始数据是二维的，那么协方差矩阵应该在这两个维度之间，包括所有六个值，即 x 轴的 (-1,0,1) 和 y 轴的 (-1,0,1)。所以 [0 1; 0 1] 不是正确答案。

假设我们已经有了协方差矩阵，我们可以使用matlab中的svd函数来得到特征向量和特征值。具有最大特征值的特征向量不是方向，而是表示数据的新基础。所以如果你将这个特征向量与原始数据相乘，你可以在新的坐标系中得到数据的新表示。

我用matlab写了一段代码，让我的描述更容易理解。

clear;
% Original data
x = [1,1;2,2;3,3];
x = x';
x = x - repmat(mean(x, 2), 1, size(x, 2));
figure('name','original data')
plot(x(1,:),x(2,:),'*')
axis([-5 5 -5 5])
% PCA rotate data
sigma = x * x' / size(x, 2);
[U, S, V] = svd(sigma);
xRot = U' * x;
figure('name','PCA data rotation')
plot(xRot(1,:),xRot(2,:),'*')
axis([-5 5 -5 5])

直线上 3 个点的第一个主成分

1st principal component of 3 points on a line

machine-learning

pca

principal-components