Python 姓名首字母模糊匹配

Question

我有一个案例需要将给定字符串中的名称与名称数据库相匹配。下面我给出了一个非常简单的例子来说明我运行遇到的问题，我不清楚为什么一个案例比另一个案例更有效？如果我没记错的话，extractOne() 的 Python 默认算法是 Levenshtein 距离算法。是不是因为 Clemens 的名字提供了前两个首字母，而不是 Gonzalez 的情况下只有一个？

from fuzzywuzzy import fuzz
from fuzzywuzzy import process

s = ['Gonzalez, E. walked down the street.', 'Gonzalez, R. went to the market.', 'Clemens, Ko. reach the intersection; Clemens, Ka. did not.']

names = []

for i in s:

    name = [] #clear name
    for k in i.split():
        if k[0].isupper(): name.append(k)
        else: break
    names.append(' '.join(name))

    if ';' in i:
        for each in i.split(';')[1:]:
            name = [] #clear name
            for k in each.split():
                if k[0].isupper(): name.append(k)
                else: break
            names.append(' '.join(name))

print(names)

choices = ['Kody Clemens','Kacy Clemens','Gonzalez Ryan', 'Gonzalez Eddy']

for i in names:
    s = process.extractOne(i, choices)
    print(s, i)

输出：

['Gonzalez, E.', 'Gonzalez, R.', 'Clemens, Ko.', 'Clemens, Ka.']
('Gonzalez Ryan', 85) Gonzalez, E.
('Gonzalez Ryan', 85) Gonzalez, R.
('Kody Clemens', 86) Clemens, Ko.
('Kacy Clemens', 86) Clemens, Ka.

Answer 1

虽然@Igle 的评论确实解决了这个具体问题，但我想强调的是，这是一个狭隘的解决方案，不一定适用于所有问题。 Fuzzywuzzy 有多个评分器，它们使用 Levenshtein 距离算法结合不同的逻辑来比较字符串。默认记分器 fuzz.WRatio 将直接 Levenshtein 距离算法 (fuzz.ratio) 的匹配分数与其他变体进行比较，returns 来自所有记分器的最佳匹配。不仅如此，它还包括关于对不同方法的分数进行加权的附加逻辑，如果您有兴趣，我建议您查看 the source code for fuzz.WRatio.

要了解您的情况，您可以通过稍微调整代码的最后几行来比较所有评分员的所有选择的分数：

对于token_set_ratio：

for i in names:
   s = process.extract(i, choices,scorer=fuzz.token_set_ratio)
   print(s, i)

[('Gonzalez Ryan', 89), ('Gonzalez Eddy', 89), ('Kody Clemens', 27), ('Kacy Clemens', 27)] Gonzalez, E.
[('Gonzalez Ryan', 89), ('Gonzalez Eddy', 89), ('Kody Clemens', 27), ('Kacy Clemens', 27)] Gonzalez, R.
[('Kody Clemens', 91), ('Kacy Clemens', 82), ('Gonzalez Ryan', 26), ('Gonzalez Eddy', 26)] Clemens, Ko.
[('Kacy Clemens', 91), ('Kody Clemens', 82), ('Gonzalez Ryan', 35), ('Gonzalez Eddy', 26)] Clemens, Ka.

对于token_sort_ratio：

for i in names:
   s = process.extract(i, choices,scorer=fuzz.token_sort_ratio)
   print(s, i)

[('Gonzalez Eddy', 87), ('Gonzalez Ryan', 70), ('Kody Clemens', 27), ('Kacy Clemens', 27)] Gonzalez, E.
[('Gonzalez Ryan', 87), ('Gonzalez Eddy', 70), ('Kody Clemens', 27), ('Kacy Clemens', 27)] Gonzalez, R.
[('Kody Clemens', 91), ('Kacy Clemens', 82), ('Gonzalez Ryan', 26), ('Gonzalez Eddy', 26)] Clemens, Ko.
[('Kacy Clemens', 91), ('Kody Clemens', 82), ('Gonzalez Ryan', 35), ('Gonzalez Eddy', 26)] Clemens, Ka.

虽然 token_sort_ratio 显示了一场明显的胜利比赛，token_set_ratio returns 更高的分数，这就是 fuzz.WRatio 选择结果的方式 returns。另一个主要问题是，当您有类似的查询和选择时，它们的比较顺序就开始变得重要了。例如，当我运行与上面完全相同的代码，但颠倒了选择列表的顺序时，我们得到 'Gonzalez Eddy' 两个：

for i in names:
   s = process.extract(i, choices[::-1],scorer=fuzz.token_set_ratio)
   print(s, i)
[('Gonzalez Eddy', 89), ('Gonzalez Ryan', 89), ('Kacy Clemens', 27), ('Kody Clemens', 27)] Gonzalez, E.
[('Gonzalez Eddy', 89), ('Gonzalez Ryan', 89), ('Kacy Clemens', 27), ('Kody Clemens', 27)] Gonzalez, R.
[('Kody Clemens', 91), ('Kacy Clemens', 82), ('Gonzalez Eddy', 26), ('Gonzalez Ryan', 26)] Clemens, Ko.
[('Kacy Clemens', 91), ('Kody Clemens', 82), ('Gonzalez Ryan', 35), ('Gonzalez Eddy', 26)] Clemens, Ka.

我猜正确的匹配实际上有更高的分数，但 'Eddy' 和 'Ryan' 足够接近，最终得分相同。

我过去处理类似问题的方式：

使用 extract 而不是 extractOne（就像我在上面的示例中所做的那样）
使用多个得分手（比率，token_set_ratio，token_sort_ratio）处理相同的 queries/choices，并使用这些得分的加权平均值来选择最佳匹配。
调整 fuzzywuzzy 源代码以合并自定义权重或删除舍入。

Python 姓名首字母模糊匹配

Python fuzzy matching of names with only first initials

python

fuzzywuzzy