使用 fuzzywuzzy 在 python 中的单个大型 df 中查找相似名称

Question

我正在尝试找出对齐包含 "Company Names" 的数据集的最佳方法。我的数据集大约有 30 万行和 3 列。到目前为止，我尝试了很多方法，包括使用

的 Fuzzywuzzy

choices = ["Atlanta Falcons", "New York Jets", "New York Giants", "Dallas Cowboys"]
>>> process.extract("new york jets", choices, limit=2)
    [('New York Jets', 100), ('New York Giants', 78)]

现在这段代码有两个数据集，当我将 df[Name] 转换为两个并与上述方法匹配时，第一个默认变为 100%，因为列表是重复的。

我的确切代码是

import pandas as pd
df = pd.DataFrame({"Name" : ["Google","google.inc", "ddood"]})
df2 = pd.DataFrame({"Name" : ["google","google"]})

from fuzzywuzzy import fuzz
from fuzzywuzzy import process

get_match = []
for row in df.index:
    name1 = []
    name1.append(df.get_value(row,"Name"))
    for columns in df2.index:
        name2 = []
        name2.append(df2.get_value(columns,"Name") )
        matched_token=[process.extract(x, name2, limit = 2)[0][1] for x in name1]
        get_match.append([matched_token, name1[0], name2[0]])
df_maneet = pd.DataFrame({'name1': [i[1] for i in get_match], 'name2':[i[2] for i in get_match], 'Ratio': [i[0][0] for i in get_match]})

new_df = df_maneet[df_maneet.Ratio>95]

我怀疑以上是否是解决我的问题的最佳方法。我的最终结果应该都是相似的，就像公司组团一样。

下面的回答也没有帮助 finding-similar-contact-names-within-table

Answer 1

您也可以尝试探索像 difflib and fuzzyset

这样的库

您可以像下面那样尝试将它与您的数据框 df 和 df2:

一起使用

In [1070]: from difflib import SequenceMatcher as SM
In [1076]: SM(None, df['Name'].iloc[0], df2['Name'].iloc[0]).ratio()
Out[1076]: 0.8333333333333334

请探索 fuzzy-string-comparison 了解更多信息。

如果有帮助请告诉我。

Answer 2

您可以使用 np.meshgrid 创建值列表并获取每个值对的比率 fuzz.ratio 然后 select 行大于您的阈值比率。

import pandas as pd
import numpy as np
from fuzzywuzzy import fuzz

df = pd.DataFrame({"Name" : ["Google","google.inc", "ddood"]})
df2 = pd.DataFrame({"Name" : ["google","Grrgle"]})

x = np.array(np.meshgrid(df.Name.values, df2.Name.values)).T.reshape(-1,2)
df3 = pd.DataFrame(x)

df3.columns = ['Name1', 'Name2']

df3['Ratio'] = [fuzz.ratio(*i) for i in map(tuple, x)]


print (df3[df3.Ratio > 75])

    Name1   Name2  Ratio
0  Google  google     83

编辑：使用 difflib.get_close_matches 获得与您的值最接近的匹配项。

from difflib import get_close_matches

df = pd.DataFrame({'company_name': ['Alarm.com','Analytics inc.','Adaptiv',
                                   'AllState Insurance','Alarm co', 'Analytics', 
                                    'Adaptive', 'AllState Insurance Group']})

df1 = df['company_name'].map(lambda x: get_close_matches(x, df.company_name, n=2,
                                       cutoff=0.8)).apply(pd.Series).dropna()

print (df1)
                          0                         1
0                 Alarm.com                  Alarm co
2                   Adaptiv                  Adaptive
3        AllState Insurance  AllState Insurance Group
4                  Alarm co                 Alarm.com
6                  Adaptive                   Adaptiv
7  AllState Insurance Group        AllState Insurance

使用 fuzzywuzzy 在 python 中的单个大型 df 中查找相似名称

Finding the similar names in single large df in python using fuzzywuzzy

python

pandas

fuzzywuzzy