Merge/Join 2 个数据框（按复杂标准）
Merge/Join 2 DataFrames by complex criteria
我有 2 个大数据集（每个大 70K 到 110K）。我想 correlate/compare 两者并根据一些 conditions/criteria.
找到 set2 中的哪些项目可以在 set1 中找到
我目前的策略是按公共字段对两个列表进行排序，然后 运行 嵌套 for 循环，执行条件 if 测试，将预定义的字典与找到的项目和那些不匹配。
示例：
import pandas as pd
list1 = [{'a': 56, 'b': '38', 'c': '11', 'd': '10', 'e': 65},
{'a': 31, 'b': '12', 'c': '26', 'd': '99', 'e': 71},
{'a': 70, 'b': '49', 'c': '40', 'd': '227', 'e': 1},
{'a': 3, 'b': '85', 'c': '32', 'd': '46', 'e': 70},]
list2 = [{'a': 56, 'b': '38', 'c': '11', 'd': '10', 'e': 65},
{'a': 145, 'b': '108', 'c': '123', 'd': '84', 'e': 3},
{'a': 113, 'b': '144', 'c': '183', 'd': '7', 'e': 12},
{'a': 144, 'b': '60', 'c': '46', 'd': '106', 'e': 148},
{'a': 57, 'b': '87', 'c': '51', 'd': '95', 'e': 187},
{'a': 41, 'b': '12', 'c': '26', 'd': '99', 'e': 71},
{'a': 80, 'b': '49', 'c': '40', 'd': '227', 'e': 1},
{'a': 3, 'b': '85', 'c': '32', 'd': '46', 'e': 70},
{'a': 107, 'b': '95', 'c': '81', 'd': '15', 'e': 25},
{'a': 138, 'b': '97', 'c': '38', 'd': '28', 'e': 171}]
re_dict = dict([('found', []), ('alien', [])])
for L2 in list2:
for L1 in list1:
if (L1['a']-5 <= L2['a'] <= L2['a']+10) and L2['c'][-1:] in L1['c'][-1:]:
if (65 <= L2['e'] <= 75):
L2.update({'e': 'some value'})
re_dict['found'].append(L2)
list1.remove(L1)
break # break out from the inner loop
else: # if the inner loop traversed entire list, there were no matches
re_dict['alien'].append(L2)
以上产生了预期的结果：
re_dict
{'alien': [{'a': 145, 'b': '108', 'c': '123', 'd': '84', 'e': 3},
{'a': 113, 'b': '144', 'c': '183', 'd': '7', 'e': 12},
{'a': 57, 'b': '87', 'c': '51', 'd': '95', 'e': 187},
{'a': 41, 'b': '12', 'c': '26', 'd': '99', 'e': 71},
{'a': 107, 'b': '95', 'c': '81', 'd': '15', 'e': 25},
{'a': 138, 'b': '97', 'c': '38', 'd': '28', 'e': 171}],
'found': [{'a': 56, 'b': '38', 'c': '11', 'd': '10', 'e': 'some value'},
{'a': 144, 'b': '60', 'c': '46', 'd': '106', 'e': 148},
{'a': 80, 'b': '49', 'c': '40', 'd': '227', 'e': 1},
{'a': 3, 'b': '85', 'c': '32', 'd': '46', 'e': 'some value'}]}
所以它完成了工作，但显然效率不高，似乎是 pandas 的理想工作。
我认为如果我可以 merge/join 两个 DataFrames 就更理想了，但我不知道如何根据复杂的标准进行合并。我的数据集大小也不相等。
示例：
df1 = pd.DataFrame(list1)
df2 = pd.DataFrame(list2)
pd.merge(df1,df2,on='d',how='outer')
a_x b_x c_x d e_x a_y b_y c_y e_y
0 56 38 11 10 65 56 38 11 65
1 31 12 26 99 71 41 12 26 71
2 70 49 40 227 1 80 49 40 1
3 3 85 32 46 70 3 85 32 70
4 NaN NaN NaN 84 NaN 145 108 123 3
5 NaN NaN NaN 7 NaN 113 144 183 12
6 NaN NaN NaN 106 NaN 144 60 46 148
7 NaN NaN NaN 95 NaN 57 87 51 187
8 NaN NaN NaN 15 NaN 107 95 81 25
9 NaN NaN NaN 28 NaN 138 97 38 171
只有当 d 列在 df1 和 df2 中完全相等时才会合并。
我更喜欢能够定义一个范围，也就是说，如果 df2['d']-5 <= df1['d'] <= df2['d']+5 它仍然可以，这意味着两个数据框中的这些行都是要合并的候选者，只有当测试失败时 df1列填充 NaN（如上例所示）。
通过这种方式，我可以在几个步骤中模仿我的嵌套 for-for 循环，希望这样会更快？
任何 suggestion/hint/example 将不胜感激。
谢谢
pandas 目前缺乏对 "nearby" 查询的直接支持，尽管我有一个 pull request 最多可以添加一些基本功能（对于您的用例来说还不够）。
幸运的是，科学的 Python 生态系统为您提供了自己执行此操作所需的工具。
加入附近位置的有效方法是使用树数据结构，如 scikit-learn documentation 中所述。 SciPy 和 scikit-learn 都有合适的 KDTree 实现。
完全使用临时规则并不容易（或高效），但只要您有明确定义的距离度量，就可以有效地进行最近邻查找。我相信 scikit-learn 的 KDTree 甚至可以让您定义自己的距离度量，但我们将坚持使用正常的欧几里得距离来继续您的示例：
from scipy.spatial import cKDTree as KDTree
import pandas as pd
# for each row in df2, we want to join the nearest row in df1
# based on the column "d"
join_cols = ['d']
tree = KDTree(df1[join_cols])
distance, indices = tree.query(df2[join_cols])
df1_near_2 = df1.take(indices).reset_index(drop=True)
left = df1_near_2.rename(columns=lambda l: 'x_' + l)
right = df2.rename(columns=lambda l: 'y_' + l)
merged = pd.concat([left, right], axis=1)
这导致：
x_a x_b x_c x_d x_e y_a y_b y_c y_d y_e
0 56 38 11 10 65 56 38 11 10 65
1 31 12 26 99 71 145 108 123 84 3
2 56 38 11 10 65 113 144 183 7 12
3 31 12 26 99 71 144 60 46 106 148
4 31 12 26 99 71 57 87 51 95 187
5 31 12 26 99 71 41 12 26 99 71
6 70 49 40 227 1 80 49 40 227 1
7 3 85 32 46 70 3 85 32 46 70
8 56 38 11 10 65 107 95 81 15 25
9 56 38 11 10 65 138 97 38 28 171
如果你想对多列进行近近合并，设置join_cols = ['d', 'e', 'f']即可。
我有 2 个大数据集（每个大 70K 到 110K）。我想 correlate/compare 两者并根据一些 conditions/criteria.
找到 set2 中的哪些项目可以在 set1 中找到我目前的策略是按公共字段对两个列表进行排序，然后 运行 嵌套 for 循环，执行条件 if 测试，将预定义的字典与找到的项目和那些不匹配。
示例：
import pandas as pd
list1 = [{'a': 56, 'b': '38', 'c': '11', 'd': '10', 'e': 65},
{'a': 31, 'b': '12', 'c': '26', 'd': '99', 'e': 71},
{'a': 70, 'b': '49', 'c': '40', 'd': '227', 'e': 1},
{'a': 3, 'b': '85', 'c': '32', 'd': '46', 'e': 70},]
list2 = [{'a': 56, 'b': '38', 'c': '11', 'd': '10', 'e': 65},
{'a': 145, 'b': '108', 'c': '123', 'd': '84', 'e': 3},
{'a': 113, 'b': '144', 'c': '183', 'd': '7', 'e': 12},
{'a': 144, 'b': '60', 'c': '46', 'd': '106', 'e': 148},
{'a': 57, 'b': '87', 'c': '51', 'd': '95', 'e': 187},
{'a': 41, 'b': '12', 'c': '26', 'd': '99', 'e': 71},
{'a': 80, 'b': '49', 'c': '40', 'd': '227', 'e': 1},
{'a': 3, 'b': '85', 'c': '32', 'd': '46', 'e': 70},
{'a': 107, 'b': '95', 'c': '81', 'd': '15', 'e': 25},
{'a': 138, 'b': '97', 'c': '38', 'd': '28', 'e': 171}]
re_dict = dict([('found', []), ('alien', [])])
for L2 in list2:
for L1 in list1:
if (L1['a']-5 <= L2['a'] <= L2['a']+10) and L2['c'][-1:] in L1['c'][-1:]:
if (65 <= L2['e'] <= 75):
L2.update({'e': 'some value'})
re_dict['found'].append(L2)
list1.remove(L1)
break # break out from the inner loop
else: # if the inner loop traversed entire list, there were no matches
re_dict['alien'].append(L2)
以上产生了预期的结果：
re_dict
{'alien': [{'a': 145, 'b': '108', 'c': '123', 'd': '84', 'e': 3},
{'a': 113, 'b': '144', 'c': '183', 'd': '7', 'e': 12},
{'a': 57, 'b': '87', 'c': '51', 'd': '95', 'e': 187},
{'a': 41, 'b': '12', 'c': '26', 'd': '99', 'e': 71},
{'a': 107, 'b': '95', 'c': '81', 'd': '15', 'e': 25},
{'a': 138, 'b': '97', 'c': '38', 'd': '28', 'e': 171}],
'found': [{'a': 56, 'b': '38', 'c': '11', 'd': '10', 'e': 'some value'},
{'a': 144, 'b': '60', 'c': '46', 'd': '106', 'e': 148},
{'a': 80, 'b': '49', 'c': '40', 'd': '227', 'e': 1},
{'a': 3, 'b': '85', 'c': '32', 'd': '46', 'e': 'some value'}]}
所以它完成了工作，但显然效率不高，似乎是 pandas 的理想工作。
我认为如果我可以 merge/join 两个 DataFrames 就更理想了，但我不知道如何根据复杂的标准进行合并。我的数据集大小也不相等。
示例：
df1 = pd.DataFrame(list1)
df2 = pd.DataFrame(list2)
pd.merge(df1,df2,on='d',how='outer')
a_x b_x c_x d e_x a_y b_y c_y e_y
0 56 38 11 10 65 56 38 11 65
1 31 12 26 99 71 41 12 26 71
2 70 49 40 227 1 80 49 40 1
3 3 85 32 46 70 3 85 32 70
4 NaN NaN NaN 84 NaN 145 108 123 3
5 NaN NaN NaN 7 NaN 113 144 183 12
6 NaN NaN NaN 106 NaN 144 60 46 148
7 NaN NaN NaN 95 NaN 57 87 51 187
8 NaN NaN NaN 15 NaN 107 95 81 25
9 NaN NaN NaN 28 NaN 138 97 38 171
只有当 d 列在 df1 和 df2 中完全相等时才会合并。
我更喜欢能够定义一个范围，也就是说，如果 df2['d']-5 <= df1['d'] <= df2['d']+5 它仍然可以，这意味着两个数据框中的这些行都是要合并的候选者，只有当测试失败时 df1列填充 NaN（如上例所示）。
通过这种方式，我可以在几个步骤中模仿我的嵌套 for-for 循环，希望这样会更快？
任何 suggestion/hint/example 将不胜感激。
谢谢
pandas 目前缺乏对 "nearby" 查询的直接支持，尽管我有一个 pull request 最多可以添加一些基本功能（对于您的用例来说还不够）。
幸运的是，科学的 Python 生态系统为您提供了自己执行此操作所需的工具。
加入附近位置的有效方法是使用树数据结构，如 scikit-learn documentation 中所述。 SciPy 和 scikit-learn 都有合适的 KDTree 实现。
完全使用临时规则并不容易（或高效），但只要您有明确定义的距离度量，就可以有效地进行最近邻查找。我相信 scikit-learn 的 KDTree 甚至可以让您定义自己的距离度量，但我们将坚持使用正常的欧几里得距离来继续您的示例：
from scipy.spatial import cKDTree as KDTree
import pandas as pd
# for each row in df2, we want to join the nearest row in df1
# based on the column "d"
join_cols = ['d']
tree = KDTree(df1[join_cols])
distance, indices = tree.query(df2[join_cols])
df1_near_2 = df1.take(indices).reset_index(drop=True)
left = df1_near_2.rename(columns=lambda l: 'x_' + l)
right = df2.rename(columns=lambda l: 'y_' + l)
merged = pd.concat([left, right], axis=1)
这导致：
x_a x_b x_c x_d x_e y_a y_b y_c y_d y_e
0 56 38 11 10 65 56 38 11 10 65
1 31 12 26 99 71 145 108 123 84 3
2 56 38 11 10 65 113 144 183 7 12
3 31 12 26 99 71 144 60 46 106 148
4 31 12 26 99 71 57 87 51 95 187
5 31 12 26 99 71 41 12 26 99 71
6 70 49 40 227 1 80 49 40 227 1
7 3 85 32 46 70 3 85 32 46 70
8 56 38 11 10 65 107 95 81 15 25
9 56 38 11 10 65 138 97 38 28 171
如果你想对多列进行近近合并，设置join_cols = ['d', 'e', 'f']即可。