当给定数百个数组时,Sklearn PCA 返回一个只有一个值的数组

Sklearn PCA returning an array with only one value, when given an array of hundreds

我编写了一个程序,旨在通过相似性对图像进行分类:

for i in g:
    fulFi = i

    tiva = []
    tivb = []

    a = cv2.imread(i)
    b = cv2.resize(a, (500, 500))

    img2 = flatten_image(b)
    tivb.append(img2)
    cb = np.array(tivb)
    iab = trueArray(cb)

    print "Image:                      " + (str(i)).split("/")[-1]
    print "Image Size                  " + str(len(iab))
    print "Image Data:                 " + str(iab) + "\n"



pca = RandomizedPCA(n_components=2)
X = pca.fit_transform(iab)
Xy = pca.transform(X)

knn = KNeighborsClassifier(n_neighbors=1)
knn.fit(X, Xy.ravel())

def aip(img):
    a = cv2.imread(img)
    b = cv2.resize(a, (500, 500))

    tivb = []

    r = flatten_image(b)
    tivb.append(r)
    o = np.array(tivb)
    l = trueArray(o)

    print "Test Image:                 " + (str(img)).split("/")[-1]
    print "Test Image Size             " + str(len(l))
    print "Test Image Data:            " + str(l) + "\n"

    return l


testIm = aip(sys.argv[2])
b = pca.fit_transform(testIm)
print         "KNN Prediction:             " + str(knn.predict(b))

虽然它 运行 完美,但它有一个错误:无论使用什么图像,它都给了我完全相同的值:

Image:                      150119131035-green-bay-seattle-nfl-1024x576.jpg
Image Size                  750000
Image Data:                 [255 242 242 ..., 148 204 191]

Test Image:                 agun.jpg
Test Image Size             750000
Test Image Data:            [216 255 253 ..., 205 225 242]

KNN Prediction:             [-255.]

Image:                      150119131035-green-bay-seattle-nfl-1024x576.jpg
Image Size                  750000
Image Data:                 [255 242 242 ..., 148 204 191]

Test Image:                 bliss.jpg
Test Image Size             750000
Test Image Data:            [243 240 232 ...,  13  69  48]

KNN Prediction:             [-255.]

无论使用何种图像,KNN 预测始终为 255。进一步调查后,A 发现问题出在我的 PCA 上:由于某种原因,它取了一个包含 750000 个值的数组并返回了一个只有一个值的数组:

pca = RandomizedPCA(n_components=2)
X = pca.fit_transform(iab)
Xy = pca.transform(X)

print "Iab:                        " + str(iab)
print "Iab Type:                   " + str(type(iab))
print "Iab length:                 " + str(len(iab))



print "X Type:                     " + str(type(X))
print "X length:                   " + str(len(X))
print "X:                          " + str(X)


print "Xy Type:                    " + str(type(Xy))
print "Xy Length:                  " + str(len(X))
print "Xy:                         " + str(Xy)

给出这个:

Image:                      150119131035-green-bay-seattle-nfl-1024x576.jpg
Image Size                  750000
Image Data:                 [255 242 242 ..., 148 204 191]

Iab:                        [255 242 242 ..., 148 204 191]
Iab Type:                   <type 'numpy.ndarray'>
Iab length:                 750000
X Type:                     <type 'numpy.ndarray'>
X length:                   1
X:                          [[ 0.]]
Xy Type:                    <type 'numpy.ndarray'>
Xy Length:                  1
Xy:                         [[-255.]]

我的问题是为什么? X 和 Xy 都应该有数百个值,而不仅仅是一个。我遵循的教程没有解释,文档只说转换和 fit_transform 需要相同的数组格式。我应该如何处理这个问题?

如果n_components=2RandomizedPCA将只保留最多2个组件(参见文档here)。尝试增加它以允许选择更多组件;这应该可以解决您的问题。

你用 X = pca.fit_transform(iab)Xy = pca.transform(X) 做的是错误的。

  1. 您正在丢失两个图像的 iab 变量。你需要 两个图像的展平数组,在你的 for 循环之外。然而, 第一次迭代后,第二次迭代会覆盖 iab 数组。
  2. 即使您分别保存了两个数组,如 iab[0]iab[1],您也需要对两者执行 PCA 并使用沿变换轴表示的两个图像。不过,您需要决定使用什么来学习转换。

示例代码如下:

# First initialize the PCA with desired components 
pca = RandomizedPCA(n_components=2)

# Next you need to fit data to learn the transformations
pca.fit(np.vstack(iab[0].shape(1, len(iab[0]), iab[1].shape(1, len(iab[1])))

# Finally you apply this learned transformation on input data
X[0] = pca.transform(iab[0])
X[1] = pca.transform(iab[1])

您基本上是在矩阵上学习 PCA。行代表每个图像。您要做的是尝试识别图像中的哪些像素最能描述图像。为此,您需要输入许多图像,并找出哪些像素比其他像素更能区分它们。在您使用拟合的方式中,您只需在一维列表中输入 100 个值,这实际上意味着您有一个值代表每个图像,并且您有 100 个图像。

同样在你的案例中,你结合了 fit()transform(),这是一个有效的用例,只要你理解它代表什么。不管怎样,你错过了第二张图片的转换。

如果您想了解更多有关 PCA 工作原理的信息,可以阅读这篇文章 answer

最后,你无法在 1 个训练样本和 1 个测试样本上学习 KNN 分类器!学习算法旨在从大量输入中学习。

你似乎只需要两者之间的基本距离。您需要选择一个距离度量。如果您选择使用欧氏距离(也称为 L2 范数),那么这里是它的代码:

dist = numpy.linalg.norm(X[0]-X[1])

您也可以这样做:

from scipy.spatial import distance
dist = distance.euclidean(X[0], X[1])

无论如何,像你Xy = pca.transform(X)一样,将转换后的数据再次转换是没有意义的。那不会给你一个目标。

当你说 100 张图像时,你只能应用 KNN 等分类,其中 50 张显示 "tree",其余 50 张显示 "car"。训练模型后,您可以预测新图像是树还是汽车。