如何在 scikit-learn 中使用 LDA（线性判别式）进行预测？

Question

我一直在测试 PCA 和 LDA 对我想要自动识别的 3 种不同类型的图像标签进行分类的效果。在我的代码中，X 是我的数据矩阵，其中每一行都是图像中的像素，y 是一维数组，说明每一行的分类。

import matplotlib.pyplot as plt
from sklearn import datasets
from sklearn.decomposition import PCA
from sklearn.lda import LDA

pca = PCA(n_components=2)
X_r = pca.fit(X).transform(X)

plt.figure(figsize = (35, 20))
plt.scatter(X_r[:, 0], X_r[:, 1], c=y, s=200)

lda = LDA(n_components=2)
X_lda = lda.fit(X, y).transform(X)
plt.figure(figsize = (35, 20))
plt.scatter(X_lda[:, 0], X_lda[:, 1], c=y, s=200)

使用 LDA，我最终得到了 3 个清晰可辨的集群，它们之间只有轻微的重叠。现在，如果我有一张我想要分类的新图像，一旦我将它变成一维数组，我该如何预测它应该落入哪个簇，如果它离中心太远，我怎么能说分类是 "inconclusive"?我也很好奇“.transform(X)”函数在我适应它后对我的数据做了什么。

Answer 1

在使用一些数据 X 训练 LDA 模型后，您可能想要投影一些其他数据 Z。在这种情况下你应该做的是：

lda = LDA(n_components=2) #creating a LDA object
lda = lda.fit(X, y) #learning the projection matrix
X_lda = lda.transform(X) #using the model to project X 
# .... getting Z as test data....
Z = lda.transform(Z) #using the model to project Z
z_labels = lda.predict(Z) #gives you the predicted label for each sample
z_prob = lda.predict_proba(Z) #the probability of each sample to belong to each class

注意'fit'是用来拟合模型的，不是拟合数据的。

所以transform用于构建表示（在本例中为投影），predict用于预测每个样本的标签。（这用于在 sklearn 中继承自 BaseEstimator 的所有类。

您可以阅读 documentation 了解更多选项和属性。

此外，sklearn 的 API 允许您执行 pca.fit_transform(X) 而不是 pca.fit(X).transform(X)。如果您在代码中的这一点之后对模型本身不感兴趣，请使用此版本。

几点评论：由于 PCA 是 Unsupervised approach，LDA 是一种更好的方法来执行您当前正在执行的 "visual" 分类。

此外，如果您对分类感兴趣，您可以考虑使用不同类型的分类器，不一定是 LDA，尽管它是一种很好的可视化方法。

如何在 scikit-learn 中使用 LDA（线性判别式）进行预测？

How to perform prediction with LDA (linear discriminant) in scikit-learn?

python

machine-learning

pca

scikit-learn

linear-discriminant