如何将模糊函数与 apply(lambda x: ) 函数结合起来？

Question

我有 2 个数据帧 df1 和 df2，如下所示：

df1:

Id    Name      
1    Tuy Hòa      
2    Kiến thụy 
3    Bình Tân

df2:

code    name      
A1     Tuy Hoà    
A2     Kiến Thụy  
A3     Tân Bình

现在当我使用合并时：

out_df = pd.merge(df1, df2, left_on=['Name'], right_on=['name'], how='outer')

当然结果是空的，因为对于 Tuy Hòa <> Tuy Hoà 的例子（问题是位置符号“`”），... 然后我使用模糊函数并应用 lambda 但它根本不正确:(

我的函数：

def checker(Name,names):
    correct_name = ''
    correct_ratio = 0
    if Name in names:
        ratio = 100
    else:  
        try:
            x = process.extractOne(Name, names, scorer=fuzz.token_set_ratio, score_cutoff = 80)
            correct_name = x[0]
            #correct_ratio = x[1]
        except:
            correct_name = ''
            #correct_ratio = 0
    return correct_name

然后我转换：

names = df2['name'].tolist()

之后我用apply循环比较输出正确的（df1必须基于df2才能正确）

df1['Name'] = df1['Name'].apply(lambda x: checker(x,names) if not checker(x,names) else x)

现在的输出是：

df1

Id    Name      
1    Tuy Hòa      
2    Kiến Thụy 
3    Tân Bình

好像Tuy Hòa和Kiến Thụy是正确的，但是Bình Tân和Tân Bình是不同的名字！所以在这种情况下改变位置字符是正确的，而不是输入错误:(预期输出应该是：

df1

Id    Name      
1    Tuy Hòa      
2    Kiến Thụy 
3    Bình Tân

我尝试将 fuzz.ratio 与 score_cutoff = 55 一起使用，但在某些情况下这会丢失对

有比我的解决方案更好的解决方案吗？（也许不使用模糊库？）请帮助我。非常感谢您的帮助 <3

Answer 1

如果两个数据帧之间的偏差完全是

的组合

不同的口音
upper-/lowercase 区别和
交换了名字和姓氏，

我会在两个 DataFrame 中创建一个新列 name_normalized

has all accents stripped
转换为小写并
对单个单词进行排序。

如果您仍然没有在 merge 上获得完全匹配，那么最好建议您查看现有的模糊匹配库，如问题 is it possible to do fuzzy match merge with python pandas?

中所述

Answer 2

Update: 策略与我之前的答案相同，但算法已从 Levenshtein distance 替换为 Damerau–Levenshtein 距离.

我稍微修改了您的输入数据以更好地理解：

>>> df1
    Id        Name
11   1     Tuy Hòa  # match 18 'Tuy Hoà'
12   2   Kiến thụy  # match 16 'Kiến Thụy'
13   3    Bình Tân  # no match
14   4  Louis Paul  # no match

>>> df2
   code       name
16   A2  Kiến Thụy
17   A3   Tân Bình
18   A1    Tuy Hoà
19   A4   John Doe

使用带有 pyxDamerauLevenshtein 包的 Damerau–Levenshtein 距离来计算 最少操作次数（包括单个字符的插入、删除或替换，或两个相邻字符的调换）需要将一个单词更改为另一个单词。 (src: Wikipedia).

# pip install pyxDamerauLevenshtein
from pyxdameraulevenshtein import damerau_levenshtein_distance_seqs

seqs = df1['Name'].apply(lambda s: damerau_levenshtein_distance_seqs(s, df2['name'])

>>> seqs
11    [8, 6, 2, 7]  # 11 <-> 18 (2 operations)
12    [1, 7, 8, 7]  # 12 <-> 16 (1 operation)
13    [7, 6, 7, 6]  # 13 <-> 17 or 19 (6 operations)
14    [9, 9, 8, 8]  # 14 <-> 18 or 19 (8 operations)
Name: Name, dtype: object

应用 merge 允许的最大操作数：

MAXOPS = 3

df1['other'] = seqs.apply(lambda x: df2.index[x.index(min(x))]
                              if min(x) <= MAXOPS else pd.NA)
out = pd.merge(df1, df2, left_on='other', right_index=True, how='outer')

>>> out
       Id        Name other code       name
11.0  1.0     Tuy Hòa    18   A1    Tuy Hoà
12.0  2.0   Kiến thụy    16   A2  Kiến Thụy
13.0  3.0    Bình Tân  <NA>  NaN        NaN
14.0  4.0  Louis Paul  <NA>  NaN        NaN
NaN   NaN         NaN    17   A3   Tân Bình
NaN   NaN         NaN    19   A4   John Doe

现在您可以随意删除不需要的所有列，保留一个名称等。

如何将模糊函数与 apply(lambda x: ) 函数结合起来？

How to combine the fuzzy function with apply(lambda x: ) function?

python

lambda

apply

pandas

fuzzywuzzy