尽可能高效地对某些 pandas 数据帧行进行成对比较

Question

对于给定的 pandas 数据帧 df，我想将每个样本（行）相互比较。

对于更大的数据集，这会导致太多的比较 (n**2)。因此，有必要仅对较小的组（即共享相同 id 的所有组）并尽可能高效地执行这些比较。

我想构建一个数据框 (df_pairs)，其中每一行都包含一对。此外，我想获得所有对索引（理想情况下作为 Python 集）。

首先，我构建了一个示例数据框：

import numpy as np
import pandas as pd
from functools import reduce
from itertools import product, combinations

n_samples = 10_000
suffixes = ["_1", "_2"]  # for df_pairs
id_str = "id"

df = pd.DataFrame({id_str: np.random.randint(0, 10, n_samples),
                   "A": np.random.randint(0, 100, n_samples),
                   "B": np.random.randint(0, 100, n_samples),
                   "C": np.random.randint(0, 100, n_samples)}, index=range(0, n_samples))

columns_df_pairs = ([elem + suffixes[0] for elem in df.columns] + 
                    [elem + suffixes[1] for elem in df.columns])

在下文中，我将 4 个不同的选项与相应的性能指标进行比较：

选项 1

groups = df.groupby(id_str).groups  # get the groups
pairs_per_group = [set(product(elem.tolist(), repeat=2)) for _, elem in groups.items()]  # determine pairs per group
set_of_pairs = reduce(set.union, pairs_per_group)  # convert all groups into one set
idcs1, idcs2 = zip(*[(e1, e2) for e1, e2 in set_of_pairs])
df_pairs = pd.DataFrame(np.hstack([df.values[idcs1, :], df.values[idcs2, :]]), # construct the dataframe of pairs
                        columns=columns_df_pairs, 
                        index=pd.MultiIndex.from_tuples(set_of_pairs, names=('index 1', 'index 2')))
df_pairs.drop([id_str + suffixes[0], id_str + suffixes[1]], inplace=True, axis=1)

选项 1 耗时 34.2 秒 ± 1.28 秒。

选项 2

groups = df.groupby(id_str).groups  # get the groups
pairs_per_group = [np.array(np.meshgrid(elem.values, elem.values)).T.reshape(-1, 2) for _, elem in groups.items()]
idcs = np.unique(np.vstack(pairs_per_group), axis=0)
df_pairs2 = pd.DataFrame(np.hstack([df.values[idcs[:, 0], :], df.values[idcs[:, 1], :]]), # construct the dataframe of pairs
                        columns=columns_df_pairs, 
                        index=pd.MultiIndex.from_arrays([idcs[:, 0], idcs[:, 1]], names=('index 1', 'index 2')))
df_pairs2.drop([id_str + suffixes[0], id_str + suffixes[1]], inplace=True, axis=1)

选项 2 需要 13 秒 ± 1.34 秒。

选项 3

groups = df.groupby(id_str).groups  # get the groups
pairs_per_group = [np.array([np.tile(elem.values, len(elem.values)), np.repeat(elem.values, len(elem.values))]).T.reshape(-1, 2) for _, elem in groups.items()]
idcs = np.unique(np.vstack(pairs_per_group), axis=0)
df_pairs3 = pd.DataFrame(np.hstack([df.values[idcs[:, 0], :], df.values[idcs[:, 1], :]]), # construct the dataframe of pairs
                        columns=columns_df_pairs, 
                        index=pd.MultiIndex.from_arrays([idcs[:, 0], idcs[:, 1]], names=('index 1', 'index 2')))
df_pairs3.drop([id_str + suffixes[0], id_str + suffixes[1]], inplace=True, axis=1)

选项 3 耗时 12.1 秒 ± 347 毫秒。

选项 4

df_pairs4 = pd.merge(left=df, right=df, how="inner", on=id_str, suffixes=suffixes)
# here, I do not know how to get the MultiIndex in
df_pairs4.drop([id_str], inplace=True, axis=1)

选项 4 的计算速度最快，为 1.41 s ± 239 ms。但是，在这种情况下我没有配对索引。

我可以通过使用 comparisons 而不是 itertools 的 product 来稍微提高性能。我还可以构建比较矩阵并仅使用上三角矩阵并从那里构建我的数据框。然而，这似乎并不比执行笛卡尔积和删除自引用以及逆比较更有效 (a, b) = (b, a)。

你能告诉我一种更有效的方法来获取对进行比较（理想情况下作为一个集合能够使用集合操作）吗？
我可以使用 merge 或另一个 pandas 函数来构建我想要的多索引数据框吗？

Answer 1

内部 merge 将破坏索引以支持新的 Int64Index。如果索引很重要，请按 reset_index 将其作为一列，然后将这些列设置回索引。

df_pairs4 = (pd.merge(left=df.reset_index(), right=df.reset_index(), 
                      how="inner", on=id_str, suffixes=suffixes)
               .set_index(['index_1', 'index_2']))

                 id  A_1  B_1  C_1  A_2  B_2  C_2
index_1 index_2                                  
0       0         4   92   79   10   92   79   10
        13        4   92   79   10   83   68   69
        24        4   92   79   10   67   73   90
        25        4   92   79   10   22   31   35
        36        4   92   79   10   64   44   20
...              ..  ...  ...  ...  ...  ...  ...
9993    9971      7   20   65   92   47   65   21
        9977      7   20   65   92   50   35   27
        9980      7   20   65   92   43   36   62
        9992      7   20   65   92   99    2   17
        9993      7   20   65   92   20   65   92

尽可能高效地对某些 pandas 数据帧行进行成对比较

Performing pair-wise comparisons of some pandas dataframe rows as efficiently as possible

performance

numpy

python-3.x

pandas

pairwise