减少 'while loop' 条件

Question

我的 objective，在宏伟的计划中，是 仅打印具有 similar/same 字段名称的行，不重复 。也就是说，如果三行重复，则每行只打印一次（而不是每次成对比较）。

要重现的最小数据集和库：

library(stringdist)
trye <-  data.frame(names = c('aa','aa','aa','bb','bb','cc'),
                    values = 1:6,
                    id = c('row 1', 'row 2', 'row 3', 'row 4', 'row 5', 'row 6'), 
                    stringsAsFactors = FALSE)

我的预期输出是具有 same/similar 名称（1、2、3、4 和 5）的行：

trye 
#   names values    id
# 1    aa      1 row 1
# 2    aa      2 row 2
# 3    aa      3 row 3
# 4    bb      4 row 4
# 5    bb      5 row 5

这里有两次尝试没有成功（其他一些修改已经抛出错误）：

#this one prints row 1,2,3,3,5,5
i <- 1
while (i < length(trye$names)) {

  dupe <- amatch(trye$names[[i]],trye$names[-i], maxDist = 1)

  if(dupe  + 1 > 0) {
    print(trye[i,])
    duperow <- dupe + 1
    print(trye[duperow,])
    trye <- trye[-c(i), ]
    i <- i + 1


  } else {
    i <- i + 1
    trye <- trye[-c(i), ]
  }

}



# this one prints rows 1,2,4,5 which is almost correct,
# it's missing row 3 (as it shares the name with row 1 and 2.
i <- 1
while (i < length(trye$names)) {

  dupe <- amatch(trye$names[[i]],trye$names[-i], maxDist = 1)

  if(dupe  + 1 > 0) {
    print(trye[i,])
    duperow <- dupe + 1
    print(trye[duperow,])
    trye <- trye[-c(i,duperow), ]
    i <- i + 1


  } else {
    i <- i + 1
    trye <- trye[-c(i,duperow), ]
  }

}

请注意，实际数据集很大，所以删除行以使比较更小对我来说似乎（或似乎）是个好主意，而且实际集合中的最大距离大于 1。

Answer 1

您可以使用来自基础的 adist 来获得 Levenshtein 距离，并筛选出至少有一个匹配项（除了他们自己）：

sapply(1:nrow(trye), function(x) sum(adist(trye[x,1], trye[,1])==0)>1)

如果您的数据非常大，因为 adist 很昂贵，您可以删除所有重复项，除了第一个和最后一个：

trye[(!duplicated(trye$names) | rev(!duplicated(rev(trye$names)))),]

然后再将它们添加回来。您可能还想检查 openrefine 这可能会加快速度。

减少 'while loop' 条件

Reducing 'while loop' with conditions

r

control-flow