使用 pandas groupby 并申请累计积分

Question

我有一个包含 idx、grp、X、Y 列的 pandas DataFrame，我想获得一个新列Y 函数相对于 X 的累积积分。但是，我想将此累积积分应用于列 grp.

定义的 DataFrame 的每个子组

这是我正在做的事情：

import numpy as np
import pandas as pd
from scipy import integrate

def myIntegral(DF, n):
    A0 = 200
    return integrate.cumtrapz((A0/DF.Y)**n, DF.X, initial=0)

data = pd.DataFrame({'idx' : [1,2,3,4,5,6],
                     'grp' : [2,2,2,2,3,3],
                     'X' : [.1,.2,.3,.4,.2,.3],
                     'Y' : [3,4,4,3,2,3]}
                    )
data.sort_values(by=['grp', 'X'], inplace=True)

out = data.groupby('grp').apply(myIntegral, n=0.5)

out 是 grp 的每个值的一系列 ndarrays，我需要将其映射回 DataFrame：

data_grouped = data.groupby('grp')
out2 = []
for grp, DF in data_grouped:
   DF['Z'] = out.loc[grp]
   out2.append(DF)
data = pd.concat(out2)

它有效，但是通过一系列 ndarray 的步骤看起来真的很难看并且容易出错。建议如何改进这个？另外，我要处理的数据集相当大，所以我正在努力寻找一个有效的解决方案。

谢谢！

Answer 1

您可以更改创建新列的功能，然后 return 返回 DF，例如：

def myIntegral(DF, n):
    A0 = 200
    DF['new'] = integrate.cumtrapz((A0/DF.Y)**n, DF.X, initial=0)
    return DF

data = pd.DataFrame({'idx' : [1,2,3,4,5,6],
                     'grp' : [2,2,2,2,3,3],
                     'X' : [.1,.2,.3,.4,.2,.3],
                     'Y' : [3,4,4,3,2,3]}
                    )
data.sort_values(by=['grp', 'X'], inplace=True)

out = data.groupby('grp').apply(myIntegral, n=0.5)
print (out)
  idx  grp    X  Y       new
0    1    2  0.1  3  0.000000
1    2    2  0.2  4  0.761802
2    3    2  0.3  4  1.468908
3    4    2  0.4  3  2.230710
4    5    3  0.2  2  0.000000
5    6    3  0.3  3  0.908248

使用 pandas groupby 并申请累计积分

Using pandas groupby and apply for cumulative integration

python

pandas

dataframe

pandas-groupby

pandas-apply