根据 python 中的相似度进行图像聚类

Question

我有一组照片，我想区分相似照片的簇。我应该使用图像的哪些特征和哪种算法来解决我的任务？

Answer 1

这个问题太笼统了。

一般来说，您可以使用任何 clustering mechanism，例如流行的 k-means。要为聚类准备数据，您需要将集合转换为数组 X，其中每一行都是一个示例（图像），每一列都是一个特征。

主要问题 - 您的功能应该是什么。如果不知道您要完成什么，就很难回答。如果你的图像很小并且大小相同，你可以简单地将每个像素作为一个特征。如果您有任何元数据并想使用它进行排序 - 您可以将元数据中的每个标签作为一个特征。

现在，如果您真的需要在图像之间找到一些模式，则必须应用额外的处理层，例如 convolutional neural network，这实际上允许您从图像的不同部分提取特征。您可以将其视为一个过滤器，它将每个图像转换为 8x8 矩阵，然后相应地可以将其用作数组 X 中具有 64 个不同特征的行以进行聚类。

Answer 2

我遇到了同样的问题，我想出了这个解决方案：

使用 Keras 导入预训练模型（此处 VGG16）
提取每张图片的特征
做kmeans
使用簇标签复制导出

这是我的代码，部分原因是 this post。

from keras.preprocessing import image
from keras.applications.vgg16 import VGG16
from keras.applications.vgg16 import preprocess_input
import numpy as np
from sklearn.cluster import KMeans
import os, shutil, glob, os.path
from PIL import Image as pil_image
image.LOAD_TRUNCATED_IMAGES = True 
model = VGG16(weights='imagenet', include_top=False)

# Variables
imdir = 'C:/indir/'
targetdir = "C:/outdir/"
number_clusters = 3

# Loop over files and get features
filelist = glob.glob(os.path.join(imdir, '*.jpg'))
filelist.sort()
featurelist = []
for i, imagepath in enumerate(filelist):
    print("    Status: %s / %s" %(i, len(filelist)), end="\r")
    img = image.load_img(imagepath, target_size=(224, 224))
    img_data = image.img_to_array(img)
    img_data = np.expand_dims(img_data, axis=0)
    img_data = preprocess_input(img_data)
    features = np.array(model.predict(img_data))
    featurelist.append(features.flatten())

# Clustering
kmeans = KMeans(n_clusters=number_clusters, random_state=0).fit(np.array(featurelist))

# Copy images renamed by cluster 
# Check if target dir exists
try:
    os.makedirs(targetdir)
except OSError:
    pass
# Copy with cluster name
print("\n")
for i, m in enumerate(kmeans.labels_):
    print("    Copy: %s / %s" %(i, len(kmeans.labels_)), end="\r")
    shutil.copy(filelist[i], targetdir + str(m) + "_" + str(i) + ".jpg")

更新 02/2022：

在某些情况下（例如未知数量的簇）使用 Affinity Propagation 可能比 kmeans 更好。在这种情况下，将 kmeans 替换为：

from sklearn.cluster import AffinityPropagation
affprop = AffinityPropagation(affinity="euclidean", damping=0.5).fit(np.array(featurelist))

并循环 affprop.labels_ 以访问结果。

根据 python 中的相似度进行图像聚类

Image clustering by its similarity in python

python

machine-learning

computer-vision

cluster-analysis