查找共享值的行

Question

我有一个 pandas 数据框，如下所示：

df = pd.DataFrame({'name': ['bob', 'time', 'jane', 'john', 'andy'], 'favefood': [['kfc', 'mcd', 'wendys'], ['mcd'], ['mcd', 'popeyes'], ['wendys', 'kfc'], ['tacobell', 'innout']]})

-------------------------------
name |         favefood
-------------------------------
bob  | ['kfc', 'mcd', 'wendys']
tim  | ['mcd']
jane | ['mcd', 'popeyes']
john | ['wendys', 'kfc']
andy | ['tacobell', 'innout']

对于每个人，我想找出有多少其他人的最爱食品与他们自己的重叠。即，对于每个人，我想找出有多少人与他们有非空交集。

生成的数据框如下所示：

------------------------------
name |         overlap
------------------------------
bob  |            3
tim  |            2
jane |            2
john |            1
andy |            0

问题是我有大约 200 万行数据。我能想到的唯一方法是通过嵌套的 for 循环——即对于每个人，遍历整个数据框以查看重叠的内容（这将是非常低效的）。无论如何，使用 pandas 符号可以更有效地做到这一点吗？谢谢！

Answer 1

背后的逻辑

s=df['favefood'].explode().str.get_dummies().sum(level=0)
s.dot(s.T).ne(0).sum(axis=1)-1
Out[84]: 
0    3
1    2
2    2
3    1
4    0
dtype: int64
df['overlap']=s.dot(s.T).ne(0).sum(axis=1)-1

方法来自sklearn

from sklearn.preprocessing import MultiLabelBinarizer
mlb = MultiLabelBinarizer()
s=pd.DataFrame(mlb.fit_transform(df['favefood']),columns=mlb.classes_, index=df.index)

s.dot(s.T).ne(0).sum(axis=1)-1

0    3
1    2
2    2
3    1
4    0
dtype: int64

查找共享值的行

find rows that share values

python

intersection

dataframe

pandas