Pandas 应用 - Return 多行

Question

我有两个数据框，我需要比较行的完整组合和 return 那些满足条件的组合。事实证明，这对于我们使用 Spark（使用交叉连接）的小型集群来说过于密集，所以我正在试验这种方法， 最终会看看 Dask 是否可以改进它。

如果tableA和B是

a=pd.DataFrame(np.array([[1,2,3],[4,5,6]]), columns=['a','b','c'])

b=pd.DataFrame(np.array([[4,7,4],[6,5,1],[8,6,0]]), columns=['d','e','f'])

然后所有组合看起来像这样，其中计算了A-D。假设我只想保留 A-D >=-3

的行

A   B   C   D   E   F   A-D
1   2   3   4   7   4   -3
1   2   3   6   5   1   -5
1   2   3   8   6   0   -7
4   5   6   4   7   4   0
4   5   6   6   5   1   -2
4   5   6   8   6   0   -4

我试图通过应用来做到这一点，但似乎我无法从函数中 return 多行 dataframe（该函数创建 [= 的单行的所有组合34=] 和 'B' 的整个 table 和 return 符合条件的行。

这是我正在测试的功能：

def return_prox_branches(a, B, cutthresh):

    aa=a['a']-B['d']

    keep_B = B.copy().loc[(aa.values >= cutthresh),:]

    keep_B['A']=a['a']

    keep_B['B']=a['b']

    keep_B['C']=a['c']

    keep_B['A-D']=a['a']-keep_B['d']

    print(keep_B)

    return(keep_B)



a.apply(return_prox_branches, axis=1, args=(b,-3))





ValueError: cannot copy sequence with size 7 to array axis with dimension 1

实际上，这两个 table 有数百万行。

有没有办法让这个在 pandas 中有效地工作？

Answer 1

有趣的方式！

在 Python 3.5
中可以使用这种方式解包 https://www.python.org/dev/peps/pep-0448/#rationale

i, j = np.where(np.subtract.outer(a.a, b.d) >= -3)
pd.DataFrame({**a.iloc[i].to_dict('l'), **b.iloc[j].to_dict('l')})

   a  b  c  d  e  f
0  1  2  3  4  7  4
1  4  5  6  4  7  4
2  4  5  6  6  5  1

相似但不那么令人困惑

i, j = np.where(np.subtract.outer(a.a, b.d) >= -3)
a_ = a.values[i]
b_ = b.values[j]

d = pd.DataFrame(
    np.column_stack([a_, b_]),
    columns=a.columns.append(b.columns)
)

d

   a  b  c  d  e  f
0  1  2  3  4  7  4
1  4  5  6  4  7  4
2  4  5  6  6  5  1

在这两种情况下，我们都依赖于 a.a 的外部减法 b.d。这将创建一个二维数组，其中包含从 a.a 的值中减去的每个可能的值 b.d。 np.where 找到此差异为 >= -3 的坐标。我可以使用这些结果对原始数据帧进行切片并将它们放在一起。

纯（大概）Pandas

我怀疑你能否将它与 dask 一起使用

def gen_pseudo(d_):
    def pseudo(d):
        cols = d.columns.append(d_.columns)
        return d_.assign(**d.squeeze()).query('a - d >= -3')[cols]
    return pseudo

a.groupby(level=0).apply(gen_pseudo(b))

     a  b  c  d  e  f
0 0  1  2  3  4  7  4
1 0  4  5  6  4  7  4
  1  4  5  6  6  5  1

Non-closure备选方案

def pseudo(d, d_):
    cols = d.columns.append(d_.columns)
    return d_.assign(**d.squeeze()).query('a - d >= -3')[cols]

a.groupby(level=0).apply(pseudo, d_=b)

理解

ja = a.columns.get_loc('a')
jb = b.columns.get_loc('d')

pd.DataFrame([
    np.append(ra, rb)
    for ra in a.values
    for rb in b.values
    if ra[ja] - rb[jb] >= -3
], columns=a.columns.append(b.columns))

   a  b  c  d  e  f
0  1  2  3  4  7  4
1  4  5  6  4  7  4
2  4  5  6  6  5  1

Pandas 应用 - Return 多行

Pandas Apply - Return Multiple Rows

python

pandas

dask

有趣的方式！

相似但不那么令人困惑

纯（大概）Pandas

Non-closure备选方案

理解