在文件哈希值不同的情况下找到相同的照片？

Question

我有两个文件夹，其中包含 100% 相同的照片（以及我需要的其他文件）。大约 100GB + 100GB。

每个像素都是相同的，但是由于添加了exif数据，哈希值不匹配。我不想删除exif。

有没有软件可以识别像素相同的照片并删除其中一张，这样其中一张只保留文件夹的差异？

Answer 1

您可以使用 ImageMagick 的功能为每个文件的数据计算哈希值 - 忽略 EXIF 数据，如下所示：

identify -format "%# %f\n" *jpg *.png

13604ac55b0af81970c9aa2a7df699f0c34b7bc7676b3cc78cf5f339246a146b tiles.jpg
ccc559642d15d9f6d16d99e5be2a7dae5d13e27cf0f6af974d7c73dd86974e1e 5.png
a136e20c10f161169f3603ad95c4ba31ded66d7e5e9f42233afe5821222b0dd0 7.png
cd46ad516c6fad8f14a80a0c9952a3121b4b123cec84423509ad32fa9ac6bacf a.png

然后将该数据放入一个文件中，然后 运行 通过 sort 和 uniq 查找重复项。这样做的好处是不比较单个文件的所有可能组合，而只是为每个文件生成一次校验和。

ImageMagick 安装在大多数 Linux 失真器上，可用于 OS X（我认为最好通过 homebrew）和 Windows -参见 here。