如何规范化不同范围的数据框列中的值

Question

我有一个这样的数据框：

    T  data
0   0    10
1   1    20
2   2    30
3   3    40
4   4    50
5   0     5
6   1    13
7   2    21
8   0     3
9   1     7
10  2    11
11  3    15
12  4    19

T中的值都是从 0 到某个值的序列，其中序列之间的最大数可以不同。通常，data 中的值不是等距的，现在仅用于演示目的。

我想要实现的是添加名为 dataDiv 的第三列，其中某个序列的 data 中的每个值除以属于该序列的 T = 0 处的值各自的顺序。在我的例子中，我有 3 个序列，对于第一个序列，我想将每个值除以 10，在第二个序列中，每个值应除以 5，在第三个序列中，每个值应除以 3。所以预期的结果是这样的：

    T  data   dataDiv
0   0    10  1.000000
1   1    20  2.000000
2   2    30  3.000000
3   3    40  4.000000
4   4    50  5.000000
5   0     5  1.000000
6   1    13  2.600000
7   2    21  4.200000
8   0     3  1.000000
9   1     7  2.333333
10  2    11  3.666667
11  3    15  5.000000
12  4    19  6.333333

我目前的实现方式是这样的：我首先确定 T = 0 处的索引。然后我遍历这些索引并将 data 中的数据除以相应序列的 T=0 处的值，这给出了我想要的输出（如上所示）。代码如下所示：

import pandas as pd
df = pd.DataFrame({'T': range(5) + range(3) + range(5),
                   'data': range(10, 60, 10) + range(5, 25, 8) + range(3, 21, 4)})

# get indices where T = 0
idZE = df[df['T'] == 0].index.tolist()

# last index of dataframe
idZE.append(max(df.index)+1)

# add the column with normalzed values
df['dataDiv'] = df['data']

# loop through indices where T = 0 and normalize values
for ix, indi in enumerate(idZE[:-1]):

    df['dataDiv'].iloc[indi:idZE[ix + 1]] = df['data'].iloc[indi:idZE[ix + 1]] / df['data'].iloc[indi]

我的问题是：有没有比这更聪明的避免循环的解决方案？

Answer 1

如果有利于矢量化计算，以下方法可以避免循环，并且应该执行得更快。基本思想是标记列 'T' 中的整数游程，找到每个组中的第一个值，然后将 'data' 中的值除以适当的第一个值。

df['grp'] = (df['T'] == 0).cumsum()           # label consecutive runs of integers
x = df.groupby('grp')['data'].first()         # first value in each group
df['dataDiv'] = df['data'] / df['grp'].map(x) # divide

这给出了具有所需列的 DataFrame：

    T  data  grp   dataDiv
0   0    10    1  1.000000
1   1    20    1  2.000000
2   2    30    1  3.000000
3   3    40    1  4.000000
4   4    50    1  5.000000
5   0     5    2  1.000000
6   1    13    2  2.600000
7   2    21    2  4.200000
8   0     3    3  1.000000
9   1     7    3  2.333333
10  2    11    3  3.666667
11  3    15    3  5.000000
12  4    19    3  6.333333

（如果需要，您可以删除 'grp' 列：df.drop('grp', axis=1)。）

正如@DSM 在下面指出的那样，使用 groupby.transform 可以将三行代码合并为一行：

df['dataDiv'] = df['data'] / df.groupby((df['T'] == 0).cumsum())['data'].transform('first')

如何规范化不同范围的数据框列中的值

How to normalize values in a dataframe column in different ranges

python

performance

normalization

dataframe

pandas