从加权关系数据库中删除重复记录

Question

我有一个关系型 SQL 数据库，它源自 Tensorflow 图像分类器返回的数据。我相信图像 table 和关系 table 中有大量重复条目，我想删除它们，同时确保我不会破坏任何关系。

例如，这个关系 table:

image_id | term_id | weight
1 18 0.95336
2 18 0.49187
2 25 0.35451
3 18 0.84148
3 18 0.84148
3 18 0.84148
4 18 0.84148
5 7 0.25471

应该变成：

image_id | term_id | weight
1 18 0.95336
2 18 0.49187
2 25 0.35451
3 18 0.84148
5 7 0.25471

还有这张图片table：

ID | file_path | file_name
1 /folder/ imageDog.jpg
2 /folder/ imageMouse.jpg
3 /folder/subfolder/ imageCat.jpg
4 /folder/subfolder/ imageCat.jpg
5 /folder/subfolder/ imageSnake.jpg

应该变成：

ID | file_path | file_name
1 /folder/ imageDog.jpg
2 /folder/ imageMouse.jpg
3 /folder/subfolder/ imageCat.jpg
5 /folder/subfolder/ imageSnake.jpg

请注意，ID 为 4 的图像是 3 的副本，因此需要删除该图像及其关系。我认为在某些情况下，一些重复的图像可能会丢失关系，在这种情况下，应该只保留一张有关系的图像。我希望这是有道理的。

Answer 1

您可以使用聚合函数来获得单个 image_id 例如：min(image_id) group by term_id, weight

  select min(image_id ) min_id
    , term_id 
    , weight
  from my_table  
  group by term_id, weight

如果你想删除与 min_id 结果无关的路径，你可以使用

delete  from your_file_path_table 
where ID  not in (
  select min(image_id ) 
     from my_table  
    group by term_id, weight
)

从加权关系数据库中删除重复记录

Removing duplicate records from a weighted relational database

mysql

sql

duplicates

weighted