如何得到最终的特征？

Question

原始数据为Y，Y的大小为L*n（n为特征个数；L为特征个数观察。B是原始数据Y的协方差矩阵。假设A是协方差矩阵B的特征向量。我将A表示为A = (e1, e2,...,en)，其中 ei 是特征向量。矩阵 Aq 是前 q 个特征向量， ai 是 Aq 的行向量： Aq = (e1,e2,...,eq) = (a1,a2,...,an)'. 我想将 k-means 算法应用于 Aq 以将行向量 ai 聚类到 k 个或更多簇（注意：我不想将 k-means 算法应用于特征向量ei到k个簇）。对于每个簇，只保留离簇中心最近的向量，最后选择这个向量对应的特征作为信息特征。

我的问题是：

1）应用k-means算法到Aq将行向量ai聚类到k簇和应用k-means算法到[=有什么区别24=] 将特征向量 ei 聚类到 k 个聚类？

2) 我得到的 closest_vectors 来自这个命令：closest_vectors = Aq(min_idxs, :)，closest_vectors 的大小是 k*q 的两倍。如何得到最终的信息特征？由于最终的信息特征必须从原始数据中得到Y.

谢谢！

我发现了两个关于 pca 和 pfa 的函数：

function [e m lambda, sqsigma] = cvPca(X, M)

[D, N] = size(X);

if ~exist('M', 'var') || isempty(M) || M == 0
    M = D; 
end
M = min(M,min(D,N-1));

%% mean subtraction
m = mean(X, 2);  %%% calculate the mean of every row

X = X - repmat(m, 1, N);

%% singular value decomposition. X = U*S*V.' or X.' = V*S*U.'
[U S V] = svd(X,'econ');

e = U(:,1:M);

if nargout > 2
    s = diag(S);

    s = s(1:min(D,N-1));

    lambda = s.^2 / N; % biased (1/N) estimator of variance

end

% sqsigma. Used to model distribution of errors by univariate Gaussian
if nargout > 3
    d = cvPcaDist(X, e, m); % Use of validation set would be better

    N = size(d,2);

    sqsigma = sum(d) / N; % or (N-1) unbiased est

end
end

%////////////////////////////////////////// ///////////////////////////////

function [IDX, Me] = cvPfa(X, p, q)
[D, N] = size(X);
if ~exist('p', 'var') || isempty(p) || p == 0
    p = D;
end
p = min(p, min(D, N-1));
if ~exist('q', 'var') || isempty(q)
    q = p - 1;
end

%% PCA step
[U Me, Lambda] = cvPca(X, q);

%% cluter row vectors (q x D). not col
[Cl, Mu] = kmeans(U, p, 'emptyaction', 'singleton', 'distance', 'sqEuclidean');

%% find axis which are nearest to mean vector
IDX = logical(zeros(D,1));
for i = 1:p
    Cli = find(Cl == i);
    d = cvEucdist(Mu(i,:).', U(Cli,:).');
    [mini, argmin] = min(d);
    IDX(Cli(argmin)) = 1;
end

Answer 1

1) 我认为聚类协方差矩阵的特征向量（PCA 结果的列）没有任何意义。所有特征向量都是成对正交的，并且在欧几里德距离的意义上彼此相距相等。您可以选择任何特征向量并计算它们之间的距离，距离将是任何对之间的 sqrt(2)。但是聚类 PCA 结果的行可以提供一些有用的东西。

Answer 2

总结 Olologin 的评论，对协方差矩阵的特征向量或 SVD 的 U 矩阵的列进行聚类没有意义。在这种情况下，特征向量都是正交的，因此如果您尝试对它们进行聚类，则每个聚类只能获得一个成员，并且该聚类的质心由特征向量本身定义。

现在，您真正想要的是 select找出您的数据矩阵中根据歧视性分析描述您的数据的特征。

您提供的函数既可以计算 SVD 又可以提取数据的 k 主要成分，还可以确定这些 k 到 select 中的哪些特征作为最突出的。默认情况下，select 输出的特征数量等于 k，但您可以根据需要覆盖它。让我们坚持使用默认设置。

cvPfa 函数为您执行此功能 selection，但警告您函数中的数据矩阵是组织的，其中每个 行都是一个功能，每个 列都是一个样本 。输出是一个 logical 向量，告诉您数据中哪些特征对 select 最强。

简单地说，你只需这样做：

k = 10; %// Example
IDX = cvPfa(Y.', k);
Ynew = Y(:,IDX);

此代码将选择您的数据矩阵中的 10 个最突出的特征，并挑选出这 10 个最能代表您的数据或最具辨别力的特征。然后，您可以将输出用于您要定位的任何应用程序。

如何得到最终的特征？

How to get the final features?

matlab

machine-learning

data-analysis